[論文レビュー] Nearly Optimal Adaptive Procedure for Piecewise-Stationary Bandit: a Change-Point Detection Approach.

Yang Cao, Zheng Wen+2 more|arXiv (Cornell University)|Feb 11, 2018

Advanced Bandit Algorithms Research参考文献 17被引用数 11

ひとこと要約

本稿では、変化点検出技術を用いて区分定常な報酬分布の変化を検出する、M-UCBと呼ばれる適応的で多腕バンディットアルゴリズムを提案する。UCBと組み合わせることで、$O(\sqrt{MKT\log T})$のレグレットバウンドを達成し、$T$に関して対数的要因を除いてほぼ最適性を示し、Yahoo!データセット上で最先端手法と比較してレグレットを約50%削減する。

ABSTRACT

Multi-armed bandit (MAB) is a class of online learning problems where a learning agent aims to maximize its expected cumulative reward while repeatedly selecting to pull arms with unknown reward distributions. In this paper, we consider a scenario in which the arms' reward distributions may change in a piecewise-stationary fashion at unknown time steps. By connecting change-detection techniques with classic UCB algorithms, we motivate and propose a learning algorithm called M-UCB, which can detect and adapt to changes, for the considered scenario. We also establish an $O(\sqrt{MKT\log T})$ regret bound for M-UCB, where $T$ is the number of time steps, $K$ is the number of arms, and $M$ is the number of stationary segments. % and $\Delta$ is the gap between the expected rewards of the optimal and best suboptimal arms. Comparison with the best available lower bound shows that M-UCB is nearly optimal in $T$ up to a logarithmic factor. We also compare M-UCB with state-of-the-art algorithms in a numerical experiment based on a public Yahoo! dataset. In this experiment, M-UCB achieves about $50 \%$ regret reduction with respect to the best performing state-of-the-art algorithm.

研究の動機と目的

• 報酬分布が未知の時刻で急激に変化する多腕バンディット問題の課題に対処すること。
• 変化時刻の事前知識なしに、このような分布シフトを検出可能な適応的学習アルゴリズムの開発。
• ステーションナリーセグメント数$M$、時間枠$T$、アーム数$K$に関して、区分定常環境におけるほぼ最適なレグレット性能を達成すること。
• 実世界のデータを用いた実証的検証により、既存の最先端手法を凌駕すること。

提案手法

• 変化検出技術と上界信頼区間（UCB）アルゴリズムを統合し、分布シフトに動的に適応可能にする。
• 期待されるパフォーマンスからのずれを追跡することで、アーム報酬分布における変化を統計的モニタリングで検出する。
• 各アームに対して別個の信頼区間を維持し、変化点を検出すると推定値を再初期化する。
• 閾値ベースの検出メカニズムを用いて、報酬分布が顕著にシフトしたタイミングを特定する。
• 各検出された変化点の後で、新しいステーションナリーセグメントにおけるレグレットを最小化するように最適なアーム選択方針を再推定する。
• 対数的信頼区間を用いた探索と活用のバランスにより、理論的レグレットバウンドを保証する。

実験結果

リサーチクエスチョン

• RQ1 変化点検出をUCBと効果的に組み合わせることで、区分定常バンディット問題においてほぼ最適なレグレットを達成できるか？
• RQ2 変化時刻の事前知識なしに報酬分布の変化を検出する適応的アルゴリズムの理論的レグレットバウンドは何か？
• RQ3 提案されたM-UCBアルゴリズムは、実世界の非定常環境において、最先端手法と比較してどのように異なるか？
• RQ4 変化検出の統合により、動的バンディット設定における累積レグレットはどの程度削減可能か？

主な発見

• M-UCBは$O(\sqrt{MKT\log T})$のレグレットバウンドを達成し、$T$に関して対数的要因を除いてほぼ最適性を示す。
• 公開のYahoo!データセット上で、最も性能の優れた最先端手法と比較して、レグレットを約50%削減する。
• 変化点検出とUCBの統合により、報酬プロセスにおける未知の分布シフトへの効果的適応が可能になる。
• 理論的レグレットバウンドは、既知の最良下界と対数的要因を除いて一致し、ほぼ最適性を確認する。
• 実証結果により、M-UCBが実世界の非定常バンディット状況において優れた性能を発揮することが示された。