[論文レビュー] Utility-based Dueling Bandits as a Partial Monitoring Game

Pratik Gajane, Tanguy Urvoy|arXiv (Cornell University)|Jul 10, 2015

Advanced Bandit Algorithms Research参考文献 12被引用数 3

ひとこと要約

この論文は、報酬に基づくデュエルバンドイット問題を部分的モニタリング（PM）ゲームとして定式化し、時間レグレット階層における『容易』なクラスに属することを証明し、レグレットバウンドを $\tilde{\Theta}(\sqrt{T})$ に達成した。一般の部分的モニタリングアルゴリズムは、2次的な行動空間のため、$\tilde{\mathcal{O}}(K\sqrt{T})$ の非最適なレグレットを示すが、REX3 のような専用アルゴリズムは最適な $\tilde{\mathcal{O}}(\sqrt{KT})$ のレグレットを達成する。これは、構造に配慮したアルゴリズムの必要性を示している。

ABSTRACT

Partial monitoring is a generic framework for sequential decision-making with incomplete feedback. It encompasses a wide class of problems such as dueling bandits, learning with expect advice, dynamic pricing, dark pools, and label efficient prediction. We study the utility-based dueling bandit problem as an instance of partial monitoring problem and prove that it fits the time-regret partial monitoring hierarchy as an easy - i.e. Theta (sqrt{T})- instance. We survey some partial monitoring algorithms and see how they could be used to solve dueling bandits efficiently. Keywords: Online learning, Dueling Bandits, Partial Monitoring, Partial Feedback, Multiarmed Bandits

研究の動機と目的

• 報酬に基づくデュエルバンドイット問題を、部分的モニタリング（PM）フレームワーク内で形式化すること。
• デュエルバンドイット問題が PM の時間-レグレット階層においてどの複雑さクラスに属するかを特定すること。
• 行動数 $K^2$ への依存関係に関して、既存の PM アルゴリズムのデュエルバンドイット問題における性能を評価すること。
• 一般 PM アルゴリズムがデュエルバンドイット問題の構造的性質を捉えきれていないことの限界を特定すること。
• デュエルバンドイット問題における、構造に配慮したアルゴリズム（例：REX3）が一般 PM 方法に比べて、どの程度レグレットスケーリングで優れているかを示すこと。

提案手法

• 著者らは、行動集合 $\boldsymbol{N}$、結果集合 $\boldsymbol{M}$、損失関数 $\mathcal{L}$、利得関数 $\mathcal{G}$、フィードバック関数 $\mathcal{H}$ の形式的記法を用いて、デュエルバンドイット問題を部分的モニタリングゲームとしてモデル化した。
• フィードバックから利得への線形写像が存在しないことを示すことで、問題が局所的に観測可能であることを証明した。これは、問題がグローバルに観測可能でないことを示唆している。
• Bartók ら（2014）の PM 階層を適用し、デュエルバンドイット問題が $\tilde{\Theta}(\sqrt{T})$ のレグレットを持つ『容易』なインスタンスとして分類されたことを示した。
• 既存の PM アルゴリズム（例：FEEDEXP3、BALATON、CBP、GLOBAL-EXP3、SAVAGE、Neighborhood Watch）を分析し、デュエルバンドイット問題の文脈におけるレグレットバウンドを比較した。
• 一般 PM アルゴリズムは、$N \approx K^2$ の行動数のため、$\tilde{\mathcal{O}}(K\sqrt{T})$ のレグレットを示すが、REX3 は構造を活用することで $\tilde{\mathcal{O}}(\sqrt{KT})$ のレグレットを達成した。
• 矛盾を用いて、線形フィードバック-利得写像 $\mathcal{B}$ の存在が不可能であることを証明し、専用アルゴリズムの必要性を裏付けた。

実験結果

リサーチクエスチョン

• RQ1 報酬に基づくデュエルバンドイット問題は、部分的モニタリングフレームワークのインスタンスであるか。その場合、どのように形式的に構造化されるか？
• RQ2 PM の時間-レグレット階層において、デュエルバンドイット問題はどの複雑さクラスに属するか？
• RQ3 理論的保証があるにもかかわらず、なぜ一般 PM アルゴリズムはデュエルバンドイット問題で性能が低いのか？
• RQ4 デュエルバンドイット問題の構造を活用することで、一般 PM アルゴリズムよりも良いレグレットバウンドを達成できるか？
• RQ5 デュエルバンドイット問題で達成可能な最適なレグレットスケーリングは何か。どのアルゴリズムがそれを達成するか？

主な発見

• 報酬に基づくデュエルバンドイット問題は、PM の時間-レグレット階層において『容易』なインスタンスに分類され、レグレットバウンドが $\tilde{\Theta}(\sqrt{T})$ である。
• 線形フィードバック-利得写像 $\mathcal{B}$ が存在しないため、問題はグローバルに観測可能ではなく、これは一部の一般 PM アルゴリズムの仮定を無効にしている。
• FEEDEXP3、BALATON、CBP、GLOBAL-EXP3、SAVAGE、Neighborhood Watch などの一般 PM アルゴリズムは、すべて $K^2$ の行動空間のため、$\tilde{\mathcal{O}}(K\sqrt{T})$ のレグレットを達成する。
• 既存の PM アルゴリズムの中で、REX3 のみが最適な $\tilde{\mathcal{O}}(\sqrt{KT})$ のレグレットバウンドを達成しており、これは $K$ に対して非線形で、デュエルバンドイット問題にとって最適である。
• GLOBAL-EXP3 の反例では、ポイントローカルゲームにおける $N' \approx K^2$ が $\tilde{\mathcal{O}}(K\sqrt{T})$ のレグレットを引き起こし、デュエルバンドイット問題においてその非最適性が確認された。
• 本研究は、構造に配慮したアルゴリズムが、一般 PM 方法が下位の構造を活用できないため、デュエルバンドイット問題で最適なレグレットを達成する上で不可欠であることを確立した。