[論文レビュー] Regret Lower Bound and Optimal Algorithm in Finite Stochastic Partial Monitoring

Junpei Komiyama, Junya Honda+1 more|arXiv (Cornell University)|Sep 30, 2015

Advanced Bandit Algorithms Research参考文献 8被引用数 4

ひとこと要約

本稿は、有限の確率的部分監視問題における分布依存のレギュレート下界を対数関数的に確立し、マルチアームバンディットのDMEDにインspiredされたPM-DMEDを提案する。さらに、導出された下界と一致する漸近的最適なレギュレート上界を達成するPM-DMED-Hingeを導入し、容易および困難な部分監視問題の両方において、最適な定数係数を有する最初のアルゴリズムである。

ABSTRACT

Partial monitoring is a general model for sequential learning with limited feedback formalized as a game between two players. In this game, the learner chooses an action and at the same time the opponent chooses an outcome, then the learner suffers a loss and receives a feedback signal. The goal of the learner is to minimize the total loss. In this paper, we study partial monitoring with finite actions and stochastic outcomes. We derive a logarithmic distribution-dependent regret lower bound that defines the hardness of the problem. Inspired by the DMED algorithm (Honda and Takemura, 2010) for the multi-armed bandit problem, we propose PM-DMED, an algorithm that minimizes the distribution-dependent regret. PM-DMED significantly outperforms state-of-the-art algorithms in numerical experiments. To show the optimality of PM-DMED with respect to the regret bound, we slightly modify the algorithm by introducing a hinge function (PM-DMED-Hinge). Then, we derive an asymptotically optimal regret upper bound of PM-DMED-Hinge that matches the lower bound.

研究の動機と目的

• 有限の確率的部分監視問題における分布依存のレギュレート下界を確立すること。
• マルチアームバンディットのDMEDにインspiredされた、分布依存のレギュレートを最小化するアルゴリズムを開発すること。
• PM-DMEDの改良版（PM-DMED-Hinge）を設計し、漸近的最適なレギュレート性能を達成すること。
• 数値実験において、PM-DMEDが既存の最先端手法を著しく上回ることを実証的に示すこと。
• 特に困難な問題において、既知のレギュレート下界と上界のギャップを埋めること。

提案手法

• Kullback-Leibler発散とフィードバックおよび損失構造の幾何学的性質に基づいて、対数的レギュレート下界を導出する。
• 推定された結果分布と真の分布の間のデータ駆動型発散測度を最小化するように行動を選択するPM-DMEDを提案する。これはバンディット問題におけるDMEDと同様のアプローチである。
• PM-DMED-Hingeにおいてヘンジ関数を導入し、探索を精緻化し、推定分布における集中限界をより厳密に保証する。
• 複数の事象（例：$ abla$, $ abla^c$, $ abla^c$）へのレギュレートの新規な分解を用い、大偏差限界を適用してそれらの確率を制御する。
• 集中不等式と発散に基づく信頼区間を適用し、非最適な行動がまれに選択されることを保証する。
• 推定誤差が非最適な行動選択を引き起こす事象集合の詳細な分析を行い、それらの合計確率が$\mathrm{O}(1)$であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 有限の確率的部分監視における分布依存のレギュレートの根本的限界（下界）は何か？
• RQ2 この下界に漸近的に達するアルゴリズムを設計できるか？
• RQ3 実用的なアルゴリズムとして、数値実験で既存手法を著しく上回る性能を示せるか？
• RQ4 レギュレートの主要対数項における定数係数を最小化できるか？
• RQ5 フィードバック関数および損失関数の構造は、最適なレギュレートレートにどのように影響するか？

主な発見

• 有限の確率的部分監視問題における対数的分布依存のレギュレート下界が導出され、マルチアームバンディットにおける既知の結果を一般化する。
• PM-DMEDは、複数の問題インスタンスにおいて、数値実験で最先端手法を著しく上回る実用的アルゴリズムとして提案される。
• PM-DMED-Hingeは、導出された下界と一致する漸近的最適なレギュレート上界を達成し、その最適性を証明する。
• このアルゴリズムは、容易および困難な部分監視問題の両方において、主要対数項における最適な定数係数を達成する最初のものである。
• 推定誤差によって非最適な行動が選択される確率の合計は$\mathrm{O}(1)$で有界であり、これはサブ線形なレギュレート成長を保証する。
• 解析により、PM-DMED-Hingeにおけるヘンジ関数が、集中の厳密化と下界との一致を達成するために不可欠であることが確認される。