[論文レビュー] Regime Switching Bandits

Xiang Zhou, Yi Xiong+2 more|arXiv (Cornell University)|Jan 26, 2020

Advanced Bandit Algorithms Research参考文献 48被引用数 11

ひとこと要約

本稿は、非観測のマルコフ状態によって制御される報酬が変化する状態遷移付きマルチアームバンディット問題に対する、新しい学習アルゴリズムを提案する。この手法は、隠れマルコフモデルにおけるスペクトル推定と上側信頼区間（UCB）手法を組み合わせ、$O(T^{2/3}\rho\sqrt{\log T})$ のレグレットバウンドを達成し、より弱いオラクルに依存する従来手法に比べ顕著な改善を示す。

ABSTRACT

We study a multi-armed bandit problem where the rewards exhibit regime switching. Specifically, the distributions of the random rewards generated from all arms are modulated by a common underlying state modeled as a finite-state Markov chain. The agent does not observe the underlying state and has to learn the transition matrix and the reward distributions. We propose a learning algorithm for this problem, building on spectral method-of-moments estimations for hidden Markov models, belief error control in partially observable Markov decision processes and upper-confidence-bound methods for online learning. We also establish an upper bound $O(T^{2/3}\sqrt{\log T})$ for the proposed learning algorithm where $T$ is the learning horizon. Finally, we conduct proof-of-concept experiments to illustrate the performance of the learning algorithm.

研究の動機と目的

• 報酬分布が有限状態のマルコフ連鎖としてモデル化される隠れ状態に応じて切り替わるマルチアームバンディット問題に対処すること。
• 下位の状態を観測できない状況下で、遷移行列と報酬分布を同時に学習する学習アルゴリズムを設計すること。
• 真のモデルパラメータは把握しているが隠れ状態を知らない強力なオラクルに対する非線形レグレットバウンドを確立すること。
• 従来の手法が弱いオラクル（例えば、最良の固定アームや記憶のない方策）に依存するのに対し、理論的性能を向上させること。

提案手法

• アルゴリズムは、観測された報酬から遷移行列 $P$ と報酬分布 $Q(\cdot|m,i)$ を推定するためにスペクトル的モーメント法推定器を用いる。
• 学習の時間枠をネストされた探索・活用フェーズに分割し、学習と意思決定のバランスを取る。
• 各探索フェーズでは、有限標本保証を伴うスペクトル推定器を用いてモデルパラメータを推定する。
• 各活用フェーズでは、更新された信念状態に基づく楽観的価値関数を用いてUCB手法を適用し、レグレットを制御する。
• 各活用フェーズの開始時に、直前の探索フェーズで得られた最新のパラメータ推定値を用いて信念状態を再キャリブレーションする。
• 推定誤差の影響を時間経過にわたって制御することで信念誤差の伝搬を制御し、マルティングール濃縮のためのアズマ＝ホイーディング不等式を活用する。

実験結果

リサーチクエスチョン

• RQ1 非観測のマルコフ的状態遷移を伴うマルチアームバンディット設定において、学習アルゴリズムが非線形レグレットを達成できるか？
• RQ2 スペクトル推定をどのようにUCBと効果的に組み合わせて、部分的に観測可能なマルコフ意思決定過程を扱えるか？
• RQ3 この状態遷移バンディットモデルにおけるオンライン学習で達成可能な最もタイトなレグレットバウンドは何か？
• RQ4 提案されたアルゴリズムの性能は、限定的な知識（例：最良の固定アーム）を持つオラクルと比較してどうなるか？

主な発見

• 提案されたアルゴリズムは、学習時間枠 $T$ に対して高確率で $O(T^{2/3}\sqrt{\log T})$ のレグレットバウンドを達成する。
• このレグレットバウンドは、真のモデルパラメータは把握しているが隠れ状態を知らない強力なオラクル基準に基づいて確立されたものである。
• 信念状態の誤差伝搬を分析し、非観測の隠れ状態および $P$ と $Q(\cdot|m,i)$ の推定誤差に起因するものである。
• スペクトル的モーメント法は有限標本推定保証を提供し、HMMにおける最尤推定器の有限標本バウンドという未解決問題を克服する。
• 証明の概念実験としての実験により、信念再キャリブレーションとネストされたフェーズ設計の有効性が検証された。