[論文レビュー] An Optimal Algorithm for Linear Bandits

Nicolò Cesa‐Bianchi, Sham M. Kakade|arXiv (Cornell University)|Oct 19, 2011

Advanced Bandit Algorithms Research参考文献 10被引用数 4

ひとこと要約

本論文は、オンライン線形バンディット最適化のための最初の最適なアルゴリズムを提示し、有限な行動集合（サイズN）をd次元で扱う場合に√(Td ln N)のレグレットバウンドを達成し、無限集合の場合にはd√T（対数要因を除いて）— 両者とも一般には改善できない。この手法は凸幾何学を活用して最適な探索基底を構築し、効率的な探索を可能にし、この設定におけるレグレットの理論的下界と一致する。

ABSTRACT

We provide the first algorithm for online bandit linear optimization whose regret after T rounds is of order sqrt{Td ln N} on any finite class X of N actions in d dimensions, and of order d*sqrt{T} (up to log factors) when X is infinite. These bounds are not improvable in general. The basic idea utilizes tools from convex geometry to construct what is essentially an optimal exploration basis. We also present an application to a model of linear bandits with expert advice. Interestingly, these results show that bandit linear optimization with expert advice in d dimensions is no more difficult (in terms of the achievable regret) than the online d-armed bandit problem with expert advice (where EXP4 is optimal).

研究の動機と目的

• 有限な行動集合に対して、証明可能なタイトなレグレットバウンドを達成する最適なアルゴリズムの開発。
• 高次元線形バンディット設定における探索と活用のバランスを取る課題の解決。
• 有限および無限な行動集合の両方において、既存のアルゴリズムとレグレットの理論的下界との差を埋めること。
• 線形バンディットにエキスパートアドバイスを組み込む場合、達成可能なレグレットの観点から、標準的なd腕バンディットと同等の難易度であることを示すこと。

提案手法

• 凸幾何学のツールを用いて、行動空間を効率的に探索する最適な探索基底を構築する。
• 行動集合の幾何的性質を活用して、線形報酬推定における不確実性を最小化する。
• 探索が各行動ごとに情報量を最大にする方向に向かうように保証する。
• 行動集合の構造（有限または無限）に応じて、動的に探索戦略を調整する。
• 集中不等式と幾何的議論を用いて、累積損失を最良の行動に対するものと比較してバウンドするレグレット解析。
• エキスパート予測を探索メカニズムに統合することで、レグレットを増加させずに、フレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 d次元空間における有限な行動集合に対して、最適なレグレットバウンドを達成するアルゴリズムを設計できるか？
• RQ2 行動集合が無限である場合、線形バンディットの最小達成可能レグレットは何か？
• RQ3 凸幾何学をどのようにして線形バンディット問題における最適な探索基底を構築するために用いるか？
• RQ4 線形バンディットにエキスパートアドバイスを組み込むと、標準的なd腕バンディットのレグレットを超えることになるか？
• RQ5 線形バンディットにエキスパートアドバイスを組み込むことと、標準的なd腕バンディットにエキスパートアドバイスを組み込むことの間には、本質的な難易度の同等性があるか？

主な発見

• 提案されたアルゴリズムは、d次元空間内の任意の有限なN個の行動集合に対して、O(√(Td ln N))のレグレットバウンドを達成し、これは一般には改善できない。
• 無限な行動集合の場合、アルゴリズムはO(d√T)（対数要因を除いて）のレグレットバウンドを達成し、情報理論的下界と一致する。
• 凸幾何学の活用により、情報量の増加を最大化することでレグレットを最小化する最適な探索基底の構築が可能になる。
• アルゴリズムのレグレット性能は、エキスパートアドバイスを伴うd腕バンディット設定におけるEXP4アルゴリズムと同等であり、線形構造に起因する追加コストがないことが示された。
• 結果として、線形バンディットにエキスパートアドバイスを組み込むことは、レグレットの観点から標準的なバンディットにエキスパートアドバイスを組み込むことと同等の難易度であり、両者とも同じ最適なレグレットレートを達成することが示された。