[論文レビュー] Efficient Contextual Bandits in Non-stationary Worlds

Haipeng Luo, Chen-Yu Wei+2 more|arXiv (Cornell University)|Aug 5, 2017

Advanced Bandit Algorithms Research参考文献 21被引用数 77

ひとこと要約

本論文は、統計的検定を用いて非定常環境に適応する効率的なコンテキストバンディットアルゴリズムを開発し、さまざまな非定常性指標下でほぼ最適な後悔を達成し、パラメータフリーなオプションを提供します。

ABSTRACT

Most contextual bandit algorithms minimize regret against the best fixed policy, a questionable benchmark for non-stationary environments that are ubiquitous in applications. In this work, we develop several efficient contextual bandit algorithms for non-stationary environments by equipping existing methods for i.i.d. problems with sophisticated statistical tests so as to dynamically adapt to a change in distribution. We analyze various standard notions of regret suited to non-stationary environments for these algorithms, including interval regret, switching regret, and dynamic regret. When competing with the best policy at each time, one of our algorithms achieves regret $\mathcal{O}(\sqrt{ST})$ if there are $T$ rounds with $S$ stationary periods, or more generally $\mathcal{O}(Δ^{1/3}T^{2/3})$ where $Δ$ is some non-stationarity measure. These results almost match the optimal guarantees achieved by an inefficient baseline that is a variant of the classic Exp4 algorithm. The dynamic regret result is also the first one for efficient and fully adversarial contextual bandit. Furthermore, while the results above require tuning a parameter based on the unknown quantity $S$ or $Δ$, we also develop a parameter free algorithm achieving regret $\min\{S^{1/4}T^{3/4}, Δ^{1/5}T^{4/5}\}$. This improves and generalizes the best existing result $Δ^{0.18}T^{0.82}$ by Karnin and Anava (2016) which only holds for the two-armed bandit problem.

研究の動機と目的

• 固定方針ベンチマークではなく、非定常分布下での文脈バンディットの研究を動機づける。
• 統計的検定を用いて分布変化に適応する効率的なアルゴリズムを開発する。
• 複数の非定常性の概念（区間、スイッチング、ダイナミック）下の後悔保証を提供する。
• 基準となるExp4様の手法と効率を比較し、パラメータフリー動作を可能にする。

提案手法

• 分布変化を検出する統計的検定を用いて、i.i.d.-志向の文脈バンディット手法を拡張する。
• 区間、スイッチング、ダイナミックな非定常設定に対する後悔保証を導出する。
• 各時刻で最良の方策と競うアルゴリズムを分析し、ほぼ最適な境界を提供する。
• 未知の非定常性レベルに適応する後悔を達成するパラメータフリーな亜種を開発する。

実験結果

リサーチクエスチョン

• RQ1 文脈バンディットアルゴリズムを非定常環境に適応させつつ効率を保つにはどうすればよいか。
• RQ2 区間、スイッチング、ダイナミック非定常性の下で達成可能な後悔境界は何か。
• RQ3 既知の非定常後悔と同等またはそれを上回るパラメータフリーアルゴリズムを設計できるか。
• RQ4 非定常文脈におけるExp4に関連する非効率な基準手法と比較して性能はどうか。

主な発見

• 各時刻で最良の方策と競うアルゴリズムは、S個の定常期間とTラウンドに対してO(√(ST))の後悔を達成する。
• Δが非定常性を測るとき、より一般的な境界はO(Δ^{1/3} T^{2/3})で成り立つ。
• ダイナミック後悔の結果は、最初の効率的な完全対戦的文脈バンディット保証をもたらす。
• パラメータフリーアルゴリズムは後悔をMin{S^{1/4} T^{3/4}, Δ^{1/5} T^{4/5}}に達成する。
• これらの結果は非効率なExp4様のベースラインの最適保証にほぼ匹敵し、二腕バンディットを超える以前の結果を一般化する。