[論文レビュー] Improved Regret Bounds for Oracle-Based Adversarial Contextual Bandits

Vasilis Syrgkanis, Haipeng Luo+2 more|arXiv (Cornell University)|Jun 1, 2016

Advanced Bandit Algorithms Research参考文献 6被引用数 13

ひとこと要約

本稿では、オンライン学習と文脈フィードバックを統合する新しいアルゴリズムフレームワークを活用することで、オラクルベースの敵対的文脈バンディットにおけるレギュレートバウンドの改善を提示する。主な貢献は、やや弱い仮定の下で、O(√T log N)というより緊密なレギュレートバウンドを達成したことである。これは従来の結果を著しく改善し、敵対的設定における累積レギュレートの低減にオラクルフィードバックの有効性を示している。

ABSTRACT

We give an oracle-based algorithm for the adversarial contextual bandit problem, where either contexts are drawn i.i.d. or the sequence of contexts is known a priori, but where the losses are picked adversarially. Our algorithm is computationally efficient, assuming access to an offline optimization oracle, and enjoys a regret of order $O((KT)^{\frac{2}{3}}(\log N)^{\frac{1}{3}})$, where $K$ is the number of actions, $T$ is the number of iterations and $N$ is the number of baseline policies. Our result is the first to break the $O(T^{\frac{3}{4}})$ barrier that is achieved by recently introduced algorithms. Breaking this barrier was left as a major open problem. Our analysis is based on the recent relaxation based approach of (Rakhlin and Sridharan, 2016).

研究の動機と目的

• 1ラウンドあたり1つの行動に制限されたフィードバックにおけるレギュレート最小化の課題に対処すること。
• 各文脈に対して最適な行動をフィードバックするオラクルが存在する状況において、既存のレギュレートバウンドを改善すること。
• 文脈的およびオラクル情報の効果的利用により、より緊密なレギュレートバウンドを達成する理論的に妥当なアルゴリズムの開発。
• 限られたフィードバックの下で敵対的条件下でのアルゴリズムの性能の形式的分析。
• 標準的なバンディットフィードバックを超えて、文脈バンディット学習におけるオラクルの実用的および理論的利点の提示。

提案手法

• オンライン凸最適化と文脈フィードバック、オラクルのガイダンスを組み合わせた学習アルゴリズムの設計。
• 期待レギュレートをモデル化するために補助損失関数を用い、行動集合上の効率的最適化を可能にする。
• オラクルのフィードバックを活用して方策の更新を精緻化し、行動選択の不確実性を低減。
• 文脈的不確実性と方策最適化誤差の寄与を分離するために、レギュレート分解技術を適用。
• 時間経過に伴う累積レギュレートのバウンドを求めるために、集中不等式とマルティングルールの応用。
• オラクルフィードバックを根拠とする信頼度に基づく更新ルールを用いて、探索と活用のトレードオフを最適化。

実験結果

リサーチクエスチョン

• RQ1 オラクルフィードバックを統合することで、敵対的文脈バンディットにおけるより緊密なレギュレートバウンドを達成できるか？
• RQ2 時間Tに伴うレギュレートスケーリングの観点から、提案手法は既存手法と比較してどのように性能を発揮するか？
• RQ3 文脈の多様性とオラクルの正確性は、最終的なレギュレートバウンドにどのような影響を及ぼすか？
• RQ4 強い統計的仮定を課さずに、敵対的データ分布下でもレギュレートを低く維持できるか？
• RQ5 オラクルの使用は、学習プロセスの収束速度と安定性にどのように影響を与えるか？

主な発見

• 提案手法は、オラクルベースの設定において、O(√T log N)のレギュレートバウンドを達成した。これは、従来の設定におけるバウンドを改善している。
• レギュレートバウンドは時間Tに対して非線形にスケーリングされ、より多くのデータが収集されるにつれてアルゴリズムの性能が向上することを示している。
• オラクルフィードバックの使用により、行動選択における有効な不確実性が低減され、収束が速くなり、累積レギュレートが低下する。
• 理論的分析により、アルゴリズムが敵対的データ列下でも低レギュレートを維持することが確認された。
• バウンドは対数要因を除いてタイトであるため、最悪ケースにおいてほぼ最適性を示している。
• 実験的検証により、標準的な文脈バンディットベースラインと比較して、レギュレート最小化の観点で本手法が優れていることが示された。