[論文レビュー] Bridging Adversarial and Nonstationary Multi-armed Bandit

Ningyuan Chen, Shuoguang Yang+1 more|arXiv (Cornell University)|Jan 5, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本論文は、切り替え回数を制御するスイッチ予算 $S_T$ を通じて、敵対的および非定常的バンディットを統一するフレームワークを導入する。提案された AE3 アルゴリズムは、$S_T$ と変動予算 $V_T$ に応じて、敵対的（$ ilde{O}( extstylerac{1}{3}}{T^{1/3}}$）のスイッチ予算 $S_T \asymp K^{-1/3}V_T^{2/3}T^{1/3}$ における段階的転移を示す、近似的に最適なレギュレートを達成する。

ABSTRACT

In the multi-armed bandit framework, there are two formulations that are commonly employed to handle time-varying reward distributions: adversarial bandit and nonstationary bandit. Although their oracles, algorithms, and regret analysis differ significantly, we provide a unified formulation in this paper that smoothly bridges the two as special cases. The formulation uses an oracle that takes the best-fixed arm within time windows. Depending on the window size, it turns into the oracle in hindsight in the adversarial bandit and dynamic oracle in the nonstationary bandit. We provide algorithms that attain the optimal regret with the matching lower bound.

研究の動機と目的

• 敵対的および非定常的バンディットフレームワークの間のギャップを解消する。両者はオракル、アルゴリズム、レギュレートバウンドにおいて異なる。
• スイッチ予算 $S_T$ を用いて、これら2つの設定を1つの定式化で統一する。$S_T$ は許容可能な行動切り替え回数を制御する。
• $S_T$ と $V_T$ に動的に適応することで、敵対的および非定常的環境の両方に対応するアルゴリズムを開発する。
• $S_T \asymp K^{-1/3}V_T^{2/3}T^{1/3}$ における段階的転移を反映するタイトなレギュレートバウンドを確立する。これは、慎重さと適応性のトレードオフを捉える。
• アルゴリズムの最適性と強靭性を、非定常性およびスイッチ制約のさまざまなレベルにおいて理論的および実験的に検証する。

提案手法

• 統一されたオラクルは、最大 $S_T$ 回の切り替えを許容するすべての行動系列における累積報酬の最大値として定義される。これは、静的オラクル（$S_T = 1$）と動的オラクル（$S_T \geq T$）の間を補間する。
• 現在の推定値の活用と、潜在的なスイッチポイントの探索のバランスを取るための適応的探索戦略を設計。時間依存の信頼区間を用いる。
• AE3 アルゴリズムは、$S_T$ が小さい場合、時間区間を $\Delta = \lceil T / S_T \rceil$ のブロックに分割し、各ブロック内で修正された EXP3 スタイルの更新を適用する。
• 2つのレギュレート領域でレギュレート解析を実施する。$S_T \geq K^{-1/3}V_T^{2/3}T^{1/3}$ の場合、レギュレートは $\tilde{O}((KV_T)^{1/3}T^{2/3})$ に比例する。$S_T \leq K^{-1/3}V_T^{2/3}T^{1/3}$ の場合、$\tilde{O}(\sqrt{KS_T T})$ に比例する。
• レギュレートバウンドが対数要因を除いてタイトであることを示す下界を導出。これにより、AE3 アルゴリズムの最適性が確認される。
• 実験的検証として、$T$、$K$、$S_T$、$V_T$ を変化させたシミュレーションを実施。対数-対数プロットにより、理論的勾配（$T$ に対して $2/3$、$V_T$ に対して $1/3$、$K$ に対して $1/3$ または $1/2$）が確認された。

実験結果

リサーチクエスチョン

• RQ1 敵対的および非定常的バンディット問題を、連続的パラメータを用いた1つのフレームワークで正式に統一することは可能か？
• RQ2 非定常的環境において、スイッチ予算 $S_T$ によって制約を受けるエージェントが達成可能な最適なレギュレートは何か？
• RQ3 臨界スイッチ予算 $S_T \asymp K^{-1/3}V_T^{2/3}T^{1/3}$ において、レギュレートが段階的転移を示すか？その場合、バウンドにどのように現れるか？
• RQ4 $S_T$ の事前知識がなくても、両方のレギュレート領域で近似的に最適なレギュレートを達成できるアルゴリズムは存在するか？
• RQ5 提案された AE3 アルゴリズムは両領域で最適であるか？また、実験的結果は理論的予測と一致するか？

主な発見

• スイッチ予算 $S_T$ が大きい場合（$S_T \geq K^{-1/3}V_T^{2/3}T^{1/3}$）、レギュレートは $\tilde{O}((KV_T)^{1/3}T^{2/3})$ にバウンドされ、非定常的バンディットの下界と一致する。
• スイッチ予算 $S_T$ が小さい場合（$S_T \leq K^{-1/3}V_T^{2/3}T^{1/3}$）、レギュレートは $\tilde{O}(\sqrt{KS_T T})$ にバウンドされ、敵対的バンディットの下界と一致する。
• レギュレートは $S_T \asymp K^{-1/3}V_T^{2/3}T^{1/3}$ で段階的転移を示し、支配的スケーリングが $S_T$ 依存性から $V_T$ 依存性にシフトする。
• 実験的結果は理論的勾配を確認している：$\log$-レギュレート対 $\log T$ は勾配 $2/3$、対 $\log V_T$ は勾配 $1/3$、対 $\log K$ はレギュームに応じて勾配 $1/3$ または $1/2$ である。
• アーム数 $K$ は、大スイッチ予算領域ではレギュレートに $K^{1/3}$ の影響を与え、小スイッチ予算領域では $K^{1/2}$ の影響を与える。これは理論的バウンドと整合的である。
• AE3 は両領域で近似的に最適性を達成し、複数のシミュレーション設定において、理論的予測と密接に一致する実験的性能を示している。