[論文レビュー] Practical Contextual Bandits with Regression Oracles

Dylan J. Foster, Alekh Agarwal+3 more|arXiv (Cornell University)|Mar 3, 2018

Advanced Bandit Algorithms Research参考文献 16被引用数 18

ひとこと要約

この論文は、価値関数予測に回帰オракルを活用する実用的で理論的裏付けのある文脈的バンディットアルゴリズムを導入しており、実現可能性に基づく手法の計算効率と、アグノスティックアプローチの柔軟性を組み合わせている。弱い分布的仮定の下で低レグレットを達成し、複数のデータセットにおける広範な実験評価で、実現可能性に基づく手法およびアグノスティックなベースラインを上回る性能を示した。

ABSTRACT

A major challenge in contextual bandits is to design general-purpose algorithms that are both practically useful and theoretically well-founded. We present a new technique that has the empirical and computational advantages of realizability-based approaches combined with the flexibility of agnostic methods. Our algorithms leverage the availability of a regression oracle for the value-function class, a more realistic and reasonable oracle than the classification oracles over policies typically assumed by agnostic methods. Our approach generalizes both UCB and LinUCB to far more expressive possible model classes and achieves low regret under certain distributional assumptions. In an extensive empirical evaluation, compared to both realizability-based and agnostic baselines, we find that our approach typically gives comparable or superior results.

研究の動機と目的

• 計算的に効率的で理論的裏付けのある一般用途の文脈的バンディットアルゴリズムを開発すること。
• 一般化線形モデルなどの特定のモデル族に制限される既存の実現可能性に基づく手法の限界を克服すること。
• アグノスティックアプローチで一般的に使われる計算的に困難な分類オーキュラスに依存を減らすために、より実用的な回帰オーキュラスを用いること。
• 有界な不一致係数や一般化された探索パラメータといった現実的な分布的仮定の下で低レグレットを達成すること。
• 提案手法の有効性と理論的仮定の妥当性を、実世界のデータセット上で実験的に検証すること。

提案手法

• 各コンテキスト・アクションペアの期待報酬を回帰オーキュラスで予測することで、複雑な価値関数の効率的で柔軟なモデリングが可能になる。
• 閉形式の信頼区間をオーキュラス学習による推定に置き換えることで、UCB や LinUCB を任意のモデルクラスに一般化する。
• コストセンシティブなアクティブラーニング技術を基にし、探索と活用のトレードオフに焦点を当てて文脈的バンディットに適応させる。
• 不一致係数や一般化された探索パラメータといった分布的係数を用いて理論的保証を確立し、これにより線形バンドイットの概念を非線形関数クラスへ拡張する。
• 事後分布サンプリングや NP 困難な分類オーキュラスを避けることで計算的扱いやすさを維持し、代わりに効率的な回帰学習に依存する。
• 標準的なデータセットを用いて実装・評価を行い、実現可能性に基づく手法およびアグノスティックなベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 任意のモデルクラスに適用可能な文脈的バンディットアルゴリズムは、計算的効率性と実用的使いやすさを維持しながら、低レグレットを達成できるか？
• RQ2 計算的実行可能性と実験的性能の観点から、従来の分類オーキュラスと比較して回帰オーキュラスはどのように優れているか？
• RQ3 提案手法が低レグレットを達成する分布的仮定は何か？ そして、線形モデルを超えてどのように一般化されるか？
• RQ4 複雑で非線形な報酬構造を有する実世界の設定において、実現可能性に基づく手法およびアグノスティックなベースラインを上回る性能を示せるか？
• RQ5 有界な不一致係数といった理論的仮定は、実データセットにおいて実際の状況で妥当であると検証できるか？

主な発見

• 提案手法は、optdigits、page-blocks、pendigits、satimage、vehicle、adult など、すべてのテストデータセットで実現可能性に基づく手法およびアグノスティックなベースラインと同等または優れた実験的性能を達成した。
• 有界な不一致係数や一般化された探索パラメータといった分布的仮定の下で低レグレットを達成し、線形関数クラスから非線形関数クラスへと先行研究を拡張した。
• 高次元におけるスパース線形バンディットでは、ほぼ次元に依存しないレグレットバウンドを達成しており、高次元設定へのスケーラビリティを示している。
• 実験的評価により、理論的保証に必要な分布的仮定が実際の状況でも成り立つことが検証され、不一致係数や探索パラメータが実際のデータセットでも有界に保たれていることが示された。
• 分類オーキュラスよりも回帰オーキュラスの使用が、実世界の学習システムがしばしばポリシー学習に回帰を用いることと整合するため、より実用的で効果的であることが判明した。
• 回帰木や非線形予測子といった表現力の高いモデルクラスを用いても、理論的保証を失わず、強力な性能を示した。