[論文レビュー] On Abruptly-Changing and Slowly-Varying Multiarmed Bandit Problems

Lai Wei, Vaibhav Srivastava|arXiv (Cornell University)|Feb 23, 2018

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿では、急激に変化するおよびゆっくり変化する環境における非定常的マルチアームバンディット問題に対して、2つの新しいアルゴリズム—限界記憶に基づく決定的探索・活用の順序付け（LM-DSEE）とスライディングウインドウ型上界信頼性（SW-UCB#）—を提案する。時間平均のレグレットが漸近的にゼロに収束することを示すために、サブラインアクな期待累積レグレットの上限を確立し、SW-UCB#は自己調整ウインドウ長のおかげでLM-DSEEよりも優れた主要定数を達成していることが判明した。

ABSTRACT

We study the non-stationary stochastic multiarmed bandit (MAB) problem and propose two generic algorithms, namely, the limited memory deterministic sequencing of exploration and exploitation (LM-DSEE) and the Sliding-Window Upper Confidence Bound# (SW-UCB#). We rigorously analyze these algorithms in abruptly-changing and slowly-varying environments and characterize their performance. We show that the expected cumulative regret for these algorithms under either of the environments is upper bounded by sublinear functions of time, i.e., the time average of the regret asymptotically converges to zero. We complement our analytic results with numerical illustrations.

研究の動機と目的

• 報酬分布が急激に変化するか、徐々に変化する非定常的環境におけるマルチアームバンディット（MAB）アルゴリズムのギャップを埋めること。
• 非定常的状況下でもサブライン期待累積レグレットを維持するアルゴリズムを開発し、長期的に性能が向上することを保証すること。
• ロボットの軌道計画などの運動制約がある応用に適した決定的構造を持つアルゴリズム（LM-DSEE）を導入すること。
• スライディングウインドウ型UCB手法におけるホライズン長依存性を緩和するため、SW-UCB#では時間に依存するウインドウ長を導入すること。
• 両アルゴリズムについて理論的レグレット上限と数値的検証を、さまざまな非定常的状態で提供すること。

提案手法

• LM-DSEEは、最近の報酬を追跡する限界記憶ウインドウを用いてDSEEフレームワークを非定常的環境に拡張し、決定的探索・活用サイクルを強制する。
• SW-UCB#は、固定ウインドウ長ではなく時間に依存するスライディングウインドウ幅を用いることでSW-UCBを改善し、問題のホライズン長に関する事前知識の必要性を排除する。
• アルゴリズムは上界信頼性を用いて探索と活用のバランスを保ち、信頼区間はホフディングの不等式および集中不等式から導出される。
• レグレット解析では、ベルシュタイン型不等式と尾確率の上限を用いて、非最適なアーム選択の確率を制御する。
• 理論的上限は、レグレットを探索と活用の成分に分解し、変化点やウインドウ統計の取り扱いに注意を払って導出される。
• 数値シミュレーションでは、報酬がベータ分布に従う10アームバンディットを用い、急激な変化のブレークポイントとゆっくりとした変化のドリフト率を変化させ、性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 LM-DSEEのような決定的構造を持つアルゴリズムは、急激に変化するおよびゆっくり変化するMAB環境でもサブラインレグレットを維持できるか？
• RQ2 SW-UCB#は時間に応じてウインドウ長を適応的に変更することで、固定ウインドウ型SW-UCBよりも優れたレグレット性能を達成できるか？
• RQ3 非定常的状況下におけるLM-DSEEおよびSW-UCB#の期待累積レグレットの理論的上界は何か？
• RQ4 LM-DSEEとSW-UCB#のレグレット上限における主要定数はどのように比較できるか？その差の理由は何か？
• RQ5 両アルゴリズムは、変化時刻やホライズン長に関する事前知識なしに、報酬分布の変化を効果的に追跡できるか？

主な発見

• LM-DSEEの期待累積レグレットは、$ O(T^{1 - \frac{\nu}{3}} \tfrac{\text{ln} T}{T}) $ で上界される。ここで $ \nu $ は非定常性の進行速度を制御するパラメータである。
• SW-UCB#の期待累積レグレットは、$ O(T^{1 - \frac{\nu}{3}} \text{ln} T) $ で上界され、LM-DSEEよりも主要定数が小さい。
• 両アルゴリズムおよび環境において、実測レグレットと理論的上限のレグレット比が常に定数で上界されることが確認され、理論的解析の妥当性が裏付けられた。
• LM-DSEEのレグレットに見られるサウトーストパターンは、固定された探索エポックに起因するが、SW-UCB#は自己調整ウインドウ長のおかげで滑らかなレグレットを示す。
• 数値結果から、両アルゴリズムがサブラインレグレットを達成することが確認され、急激に変化する環境およびゆっくり変化する環境の両方で、時間平均のレグレットがゼロに収束することが示された。
• 両アルゴリズムの性能は、非定常性パラメータ $ \nu $ および $ \kappa $ の変化に対して頑健であり、SW-UCB#は常に主要定数の面でLM-DSEEを上回った。