[論文レビュー] Regret Analysis of the Finite-Horizon Gittins Index Strategy for Multi-Armed Bandits

Tor Lattimore|arXiv (Cornell University)|Nov 18, 2015

Advanced Bandit Algorithms Research参考文献 34被引用数 57

ひとこと要約

本稿は、ガウス型報酬と事前分布を伴うマルチアームバンディットにおける有限時刻Gittinsインデックス戦略について、初めての頻度主義的レジーム解析を提供する。近似的に最適なレジームバウンドを確立し、Gittinsインデックスのタイトな有限時刻近似を導出し、実験的にこの戦略がUCBおよびトゥーマン・サブスクリプションより有限時刻におけるレジーム性能で優れていることを示している。

ABSTRACT

I analyse the frequentist regret of the famous Gittins index strategy for multi-armed bandits with Gaussian noise and a finite horizon. Remarkably it turns out that this approach leads to finite-time regret guarantees comparable to those available for the popular UCB algorithm. Along the way I derive finite-time bounds on the Gittins index that are asymptotically exact and may be of independent interest. I also discuss some computational issues and present experimental results suggesting that a particular version of the Gittins index strategy is a modest improvement on existing algorithms with finite-time regret guarantees such as UCB and Thompson sampling.

研究の動機と目的

• 有限時刻Gittinsインデックス戦略の厳密な頻度主義的レジーム保証を提供すること。この戦略は広く用いられているが、この設定では理論的裏付けに欠けている。
• 漸近的に正確な有限時刻バウンドをGittinsインデックスに導出し、非漸近的挙動に関する文献のギャップを埋めること。
• Gittinsインデックス戦略が有限時刻割引なし設定においてベイジアン的に最適であるという一般的な主張に挑戦し、幾何的割引なしでは最適でないことを示すこと。
• UCBおよびトゥーマン・サブスクリプションなどの既存のアルゴリズムと、理論的および実験的にGittinsインデックス戦略を評価し、その有限時刻における優位性を示すこと。

提案手法

• 本稿は、ガウス型事前分布およびガウス型ノイズを仮定したGittinsインデックス戦略を、頻度主義フレームワークにおける有限時刻のレジームに焦点を当てて分析する。
• ガウス型モデルにおけるGittinsインデックスの上界および下界を導出し、漸近的にタイトでかつ有限時刻に有効であるものとする。
• 最適停止理論および連続時間確率過程からの埋め込み技術を活用し、特に Browmian motion および熱方程式に関連するものである。
• 実装に適した計算的に扱いやすいGittinsインデックス戦略のバージョンを導入し、有限時刻のレジーム保証を提供する。
• 合成バンディット問題において、Gittins戦略をUCBおよびトゥーマン・サブスクリプションと比較し、時間経過に伴う累積レジームを測定する。
• 理論的結果は、異なる事前分散および時刻ホライズンにおけるインデックスの挙動の詳細な分析によって裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 有限時刻Gittinsインデックス戦略は、頻度主義的観点から真に最適なのか、それとも単に経験的に優れているだけなのか？
• RQ2 特に時刻ホライズンが有限で割引なしの設定において、ガウス型バンディット設定におけるGittinsインデックスにタイトな有限時刻バウンドを導けるか？
• RQ3 有限時刻の設定において、Gittinsインデックス戦略はUCBおよびトゥーマン・サブスクリプションと同等またはそれ以上のレジーム性能を達成するのか？
• RQ4 有限時刻割引なしバンディットにおけるGittinsインデックスの適用に伴う計算的および実装上の課題は何か。それらはどのように軽減できるか？
• RQ5 Gittinsインデックス戦略は有限時刻割引なし設定においてベイジアン的に最適なのか、それとも誤解であるのか？

主な発見

• 有限時刻Gittinsインデックス戦略は、$ O\left(\sum_{i:\Delta_i > 0} \frac{\log n}{\Delta_i} + \Delta_i \right) $ の近似的に最適な頻度主義的レジームバウンドを達成し、LaiとRobbins（1985）の漸近的下界と一致する。
• Gittinsインデックスの有限時刻バウンドが導出され、それが漸近的に正確であるため、実用的設定におけるその使用の理論的基盤が提供される。
• 本稿は、文献でよく引用される「Gittinsインデックスは有限時刻割引なしバンディットにおいてベイジアン的に最適である」という主張を反証し、それは幾何的割引が適用されている場合にのみ成り立つことを示している。
• 実験的結果は、提案されたGittinsインデックス戦略が累積レジームの観点でUCBおよびトゥーマン・サブスクリプションを上回ることを示している。
• Gittinsインデックス戦略は計算的に実行可能であり、有限時刻における性能が優れていることが示され、既知のレジーム保証を持つ既存のアルゴリズムの強力な代替手段であると示唆される。
• 分析により、GittinsインデックスはUCBの上位信頼区間と等価ではなく、初期の探索フェーズにおける挙動が根本的に異なることが明らかになった。