[論文レビュー] Adaptive Exploration in Linear Contextual Bandit

Botao Hao, Tor Lattimore+1 more|arXiv (Cornell University)|Oct 15, 2019

Advanced Bandit Algorithms Research参考文献 21被引用数 6

ひとこと要約

本稿では、豊富な文脈分布の下で部分対数的レグレットを達成する、漸近的に最適で計算効率の良い線形文脈バンディットのためのアルゴリズムを提案する。最適な行動割り当ての推定と追跡を最適化に基づくアプローチで行い、有限時間におけるレグレット性能を向上させつつ理論的最適性を維持する。

ABSTRACT

Contextual bandits serve as a fundamental model for many sequential decision making tasks. The most popular theoretically justified approaches are based on the optimism principle. While these algorithms can be practical, they are known to be suboptimal asymptotically. On the other hand, existing asymptotically optimal algorithms for this problem do not exploit the linear structure in an optimal way and suffer from lower-order terms that dominate the regret in all practically interesting regimes. We start to bridge the gap by designing an algorithm that is asymptotically optimal and has good finite-time empirical performance. At the same time, we make connections to the recent literature on when exploration-free methods are effective. Indeed, if the distribution of contexts is well behaved, then our algorithm acts mostly greedily and enjoys sub-logarithmic regret. Furthermore, our approach is adaptive in the sense that it automatically detects the nice case. Numerical results demonstrate significant regret reductions by our method relative to several baselines.

研究の動機と目的

• 線形文脈バンディットにおける漸近的最適なアルゴリズムと実用的な有限時間性能のギャップを埋めること。
• グリーディな行動が十分であるような有利なデータ分布を自動で検出し、活用できるアルゴリズムを設計すること。
• 既存の漸近的最適な手法が実用的領域で問題を引き起こす支配的下位項のレグレットを排除すること。
• 理論的最適性と多様な設定における強力な実験的性能を両立する手法を提供すること。

提案手法

• アルゴリズムは凸最適化フレームワークを用いて、文脈-行動ペア間の最適なプル割り当てを推定・追跡する。
• 不確実性と文脈分布の豊かさに基づいて動的に調整される信頼に基づく探索戦略を活用する。
• 構造的バンディットにおける純粋探索技術にインspiredされた、最適設計の新しい追跡メカニズムを用いる。
• 割り当て推定の数値的安定性と収束性を保証するための正則化スキームを統合する。
• アルゴリズムは自動的に適応する：文脈分布が良好な場合、部分対数的レグレットを達成するほぼグリーディな振る舞いを示す。
• 既存の漸近的最適なアルゴリズムで一般的に見られる、行動数に比例するレグレット項を回避するため、文脈固有の最適性に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 線形文脈バンディットにおいて、漸近的最適性と有限時間における実用的効果性の両方を満たすアルゴリズムは可能か？
• RQ2 文脈バンディットにおける自然な探索は、どのような条件下で部分対数的レグレットをもたらすか？
• RQ3 強い理論的保証を持つにもかかわらず、なぜ既存の漸近的最適なアルゴリズムは実際には失敗するのか？
• RQ4 先行手法における下位項のレグレットを最適性を損なわずに排除するにはどうすればよいか？
• RQ5 事前の知識なしに、有利なデータ分布を自動で検出し、活用できるアルゴリズムは可能か？

主な発見

• 提案手法は漸近的最適性を達成し、レグレットの理論的下界と一致する。
• 文脈分布が豊富な設定では、部分対数的レグレットを達成し、ほぼグリーディに振る舞う。
• 数値実験では、最先端のベースライン（OSSB や ε-greedy）と比較して顕著なレグレット低減が確認された。
• LinTS ですら強い実験的性能を示すが、本手法はそのヒューリスティックな変種をレグレットの観点で上回った。
• 先行手法が実用的領域で支配的になる行動数に比例する下位項のレグレットを回避した。
• 理論的分析により、楽観主義に基づくアルゴリズムも、有利な文脈分布下では部分対数的レグレットを達成することが確認され、差は下位項でのみ現れることが分かった。