[論文レビュー] Nearly Optimal Adaptive Procedure with Change Detection for Piecewise-Stationary Bandit

Yang Cao, Zheng Wen+2 more|arXiv (Cornell University)|Feb 11, 2018

Advanced Bandit Algorithms Research被引用数 48

ひとこと要約

M-UCB は uniform exploration、UCB1、そして単純なスライディングウィンドウのチェンジポイント検出器を組み合わせて、piecewise-stationary bandits を扱い、後方互換性のある O(sqrt(MKT log T)) の regret を達成する。これは log 因子までほぼ最適。

ABSTRACT

Multi-armed bandit (MAB) is a class of online learning problems where a learning agent aims to maximize its expected cumulative reward while repeatedly selecting to pull arms with unknown reward distributions. We consider a scenario where the reward distributions may change in a piecewise-stationary fashion at unknown time steps. We show that by incorporating a simple change-detection component with classic UCB algorithms to detect and adapt to changes, our so-called M-UCB algorithm can achieve nearly optimal regret bound on the order of $O(\sqrt{MKT\log T})$, where $T$ is the number of time steps, $K$ is the number of arms, and $M$ is the number of stationary segments. Comparison with the best available lower bound shows that our M-UCB is nearly optimal in $T$ up to a logarithmic factor. We also compare M-UCB with the state-of-the-art algorithms in numerical experiments using a public Yahoo! dataset to demonstrate its superior performance.

研究の動機と目的

• 実世界の応用において、区分的に定常な報酬分布を持つバンディットの研究を動機づける。
• UCBと変更点検出を統合し、変化に適応する実用的なアルゴリズム（M-UCB）を提案する。
• M-UCB の緩い仮定の下でほぼ最適なレグレット境界を確立する。
• 合成データおよび Yahoo! データセットのベンチマークで M-UCB の経験的利点を示す。

提案手法

• 実行窓の平均を比較することで簡易なチェンジポイント検出を導入する（Algorithm 1）。
• この検出器を UCB 風の学習に組み込み、Monitored-UCB（M-UCB、Algorithm 2）を作成する。
• すべての腕での変化検出を促すため、均一サンプリングと UCB ベースの選択を組み合わせた探索を確保する。
• Assumption 1 の下で、R(T) = O(sqrt(MKT log T)) を示す理論的レグレット分析を提供する。
• レグレットを4つの要素（探索コスト、均一サンプリングコスト、検出遅延、誤警報）に関連づける（Theorem 1）。

実験結果

リサーチクエスチョン

• RQ1 簡単なチェンジポイント検出器を UCB アプローチと統合すると、区分的に定常なバンディットで強いレグレット保証を得られるか。
• RQ2 このような手法のレグレットのスケーリングは時間 horizon T、アーム数 K、区分的セグメント数 M の観点でどうなるか。
• RQ3 提案されたパラメータ（ウィンドウ w、閾値 b、均一サンプリング分数 γ）は検出とレグレットにどう影響するか。
• RQ4 M-UCB は real-world データ上で最先端の非定常バンディットアルゴリズムと比較して実験的にどうなるか。
• RQ5 理論的境界は仮定からの逸脱（例：非 Bernoulli 報酬、小さな変化）に対して頑健か。

主な発見

• M-UCB は mild な技術的仮定の下で O(sqrt(MKT log T)) のレグレット上界を達成し、既知の下界と log 因子までほぼ一致する。
• レグレットはセグメント数 M の sqrt-p scaling、アーム数 K の sqrt に対して概ね成長する（経験的検証による）。
• 単純なスライディングウィンドウのチェンジ検出アプローチは、学習を導き、検出された変化後の再起動を導くのに十分である。
• M-UCB は Yahoo! データ上で最先端のベースライン（例：EXP3、EXP3.S、SW-UCB、D-UCB、SHIFTBAND）より累積レグレットの削減で少なくとも 50-60% 上回る。
• Yahoo! および合成データの実験は、強いパラメトリック仮定を要求せず変化に対して頑健であることを示す。