[論文レビュー] Efficient Optimal Learning for Contextual Bandits

Miroslav Dudı́k, Daniel Hsu+5 more|arXiv (Cornell University)|Jun 13, 2011

Advanced Bandit Algorithms Research参考文献 16被引用数 119

ひとこと要約

本論文は、ポリシー数に関して多項式対数時間で実行される、最適なリグレットを達成する最初の効率的なアルゴリズムを提示する。コストセンシティブ分類への還元とオракル学習器を用いることで、時間的計算量が $\mathrm{polylog}(N)$ であり、リグレットは $O(\sqrt{TK\ln N})$ に抑えられ、従来の最適リグレットアルゴリズムに比べて指数的に高速である。

ABSTRACT

We address the problem of learning in an online setting where the learner repeatedly observes features, selects among a set of actions, and receives reward for the action taken. We provide the first efficient algorithm with an optimal regret. Our algorithm uses a cost sensitive classification learner as an oracle and has a running time $\mathrm{polylog}(N)$, where $N$ is the number of classification rules among which the oracle might choose. This is exponentially faster than all previous algorithms that achieve optimal regret in this setting. Our formulation also enables us to create an algorithm with regret that is additive rather than multiplicative in feedback delay as in all previous work.

研究の動機と目的

• コンテキストバンドイット学習における計算ボトルネックを解消し、従来の最適リグレットアルゴリズムがポリシー数に対して線形時間が必要であったのを改善する。
• コストセンシティブ分類オーガルを活用することで、大規模なポリシー空間における効率的学習を可能にする。
• 計算効率を維持しながら最適リグレットスケーリングを達成し、従来の方法に比べて指数的実行時間の問題を克服する。
• 任意のコストセンシティブ分類学習器を最適コンテキストバンドイットアルゴリズムに変換するフレームワークを提供する。
• リグレットバウンドにおけるフィードバック遅延の乗算的依存を排除し、加法的依存に置き換える。

提案手法

• 新規の還元技術を用いて、コンテキストバンドイット問題を一連のコストセンシティブ分類問題に還元する。
• 各ラウンドでコストセンシティブ分類オーガルを用いてポリシーを選択し、すべてのポリシーに対する測度を明示的に維持する必要を回避する。
• リグレット最適性を保証する緩和された凸計画問題を解くために、楕円体法を適用する。制約条件はポリシー重みと期待報酬に設定される。
• 凸関数の評価により分離超平面を構築し、楕円体法が妥当な解へ収束するように導く。
• 誤差が有界なパーセプトロンベースのラウンド処理手順を用いて、最終解をポリシー上での離散確率分布に丸める。
• 適切なパrameter化と集中限界を用いて、楕円体の反復回数とオーガル呼び出し回数を制限することで、多項式対数時間の実行を保証する。

実験結果

リサーチクエスチョン

• RQ1 ポリシー数に関して多項式対数時間でスケーリングする計算効率を達成しつつ、コンテキストバンドイットで最適リグレットを達成することは可能か？
• RQ2 最適性を維持したまま、リグレットバウンドにおけるフィードバック遅延の乗算的依存を排除することは可能か？
• RQ3 リグレット保証を損なわずに、コンテキストバンドイット問題をコストセンシティブ分類に還元することは可能か？
• RQ4 分類学習器へのオーガルアクセスのみを用いて、大規模なポリシー空間を効率的に探索することは可能か？
• RQ5 i.i.d. コンテキストバンドイット設定において、最適リグレットを達成するために必要な最小限の計算オーバーヘッドは何か？

主な発見

• 提案されたアルゴリズムは、ポリシー数 $N$ に対して、最適リグレット $O(\sqrt{TK\ln N})$ を $\mathrm{polylog}(N)$ の実行時間で達成する。
• 時間ステップ数 $t$ に対して、実行時間は $O(t^5 K^4 \log^2(tK/\delta))$ であり、従来の最適リグレットアルゴリズムに比べて指数的に高速である。
• リグレットバウンドはフィードバック遅延に関して加法的依存であるのに対し、従来の研究は乗算的依存であったため、遅延フィードバックに対してより頑健である。
• 本手法はコストセンシティブ分類オーガルのみを用いるため、モジュール性が高く、分類学習の将来的な改善にも容易に統合可能である。
• 楕円体法は、妥当性と最適性の保証を伴いながら、多項式対数時間で緩和された凸計画問題を効率的に解くことに成功した。
• ラウンド処理手順により、最終的なポリシー分布が最適解に近く、$\|W_P - W\| \leq 2\delta$ が保証される。