[論文レビュー] Internal Regret with Partial Monitoring. Calibration-Based Optimal Algorithms

Vianney Perchet|arXiv (Cornell University)|Feb 22, 2011

Advanced Bandit Algorithms Research参考文献 27被引用数 24

ひとこと要約

本稿では、部分監視下での逐次的意思決定に対する最適なキャリブレーションに基づくアルゴリズムを初めて提示し、期待内部的および外部的リグレットが $O(n^{-1/3})$ となることを達成した。Laguerre図に一般化されたキャリブレーションと、フラッグ空間の有限かつ適応的離散化を構築することで、従来の手法の計算非効率性を回避しつつ、信号構造に関する強い仮定を必要とせず、最適な収束速度を保証する。

ABSTRACT

We provide consistent random algorithms for sequential decision under partial monitoring, i.e. when the decision maker does not observe the outcomes but receives instead random feedback signals. Those algorithms have no internal regret in the sense that, on the set of stages where the decision maker chose his action according to a given law, the average payoff could not have been improved in average by using any other fixed law. They are based on a generalization of calibration, no longer defined in terms of a Voronoi diagram but instead of a Laguerre diagram (a more general concept). This allows us to bound, for the first time in this general framework, the expected average internal -- as well as the usual external -- regret at stage $n$ by $O(n^{-1/3})$, which is known to be optimal.

研究の動機と目的

• 部分監視下での逐次的意思決定に対して、一貫性があり、計算的に効率的なアルゴリズムを構築し、最適なリグレットバウンドを達成すること。
• Voronoï図からLaguerre図へのキャリブレーションの概念の一般化により、報酬関数および信号関数の非線形構造を扱うこと。
• 一般部分監視フレームワークにおいて、内部的および外部的リグレットの両方について、最適な $O(n^{-1/3})$ 期待リグレットバウンドを達成すること。
• 各段階で高次元最適化問題を解くか、任意の $5$-離散化に依存する従来の手法の計算制限を克服すること。
• 決定的フィードバックや報酬と信号の線形適合性といった仮定を必要としない、内部的一致性を保証するフレームワークを提供すること。

提案手法

• アルゴリズムは、フラッグ空間（各行動固有の信号分布のベクトル）の有限かつ適応的離散化を用い、任意の $5$-離散化の代わりにLaguerre図から導かれる構造を採用する。
• 各段階で、現在の予測と観測されたフィードバックに基づき、定数サイズの連立一次方程式の解を計算することで、計算効率を確保する。
• パラメータ化された最適化問題の解集合の多面体的構造を活用し、最良応答行動がフラッグ空間の領域ごとに一定であることを保証する。
• 古典的キャリブレーションを一般化するために、Voronoï図の代わりにLaguerre図を用いることで、部分監視における報酬および信号の依存関係の幾何的性質をよりよく捉える。
• 特定の予測がなされた段階において、平均報酬がその予測に対する最良応答に近くなるように保証することで、内部的リグレットをバウンドする。
• 理論的分析は、多面体上の正規ファーンおよびアフィン写像の性質に依拠し、解集合が多面体的であり、有限個の領域にわたり一定であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 信号構造に関する強い仮定を必要とせず、一般部分監視フレームワークにおいて内部的リグレットを $O(n^{-1/3})$ で最適にバウンドすることは可能か？
• RQ2 キャリブレーションに基づくアルゴリズムをVoronoï図を超えて一般化することで、より低い計算複雑性で最適なリグレットを達成することは可能か？
• RQ3 各段階で高次元最適化問題を解く必要がない、最適なリグレットを達成する一貫性のあるアルゴリズムを構築することは可能か？
• RQ4 報酬および信号の依存関係の構造をどのように活用すれば、部分監視における一貫性と効率性を両立できるか？
• RQ5 Laguerre図の使用により、従来のキャリブレーションに基づく手法と比較して収束速度が向上し、離散化パrameterへの依存が軽減されるか？

主な発見

• 提案されたアルゴリズムは、$O(n^{-1/3})$ の期待内部的リグレットを達成しており、これは部分監視フレームワークにおいて最適であることが知られている。
• 本手法は、決定的フィードバックや報酬とフラッグの線形適合性、またはマルコフ構造といった仮定を必要とせず、この最適レートを達成する最初のアルゴリズムである。
• Voronoï図ではなくLaguerre図を用いることで、報酬関数および信号関数の非線形性を扱うためにキャリブレーションを一般化した。
• 従来の手法と比較して、計算複雑性が顕著に低減されており、各段階で定数サイズの一次方程式系を解くだけでよい。
• 最良応答問題の解集合が多面体的であり、有限個の領域にわたり一定であることが示されたため、効率的な実装が可能である。
• Blackwellの到達可能性に基づく代替アルゴリズムも同様の最適レートを達成するが、各段階で定数サイズの線形計画問題を解く必要がある。