[論文レビュー] A Multi-Armed Bandit Approach for Online Expert Selection in Markov Decision Processes

Eric Mazumdar, Roy Dong+3 more|arXiv (Cornell University)|Jul 18, 2017

Advanced Bandit Algorithms Research参考文献 17被引用数 9

ひとこと要約

本稿では、マルコフ決定過程（MDP）におけるオンラインエキスパート選択のためのマルチアームバンディット（MAB）フレームワークを提案する。複数の事前に訓練済みのエキスパート方策が、累積報酬を最大化するために動的に選択される。遅延した状態混合を伴うMDPにUCBアルゴリズムを適応させることで、理論的性能保証を裏付けるために、定常状態の仮定の下で対数的成長のレグレットを達成した。GridWorld環境でも実証された。

ABSTRACT

We formulate a multi-armed bandit (MAB) approach to choosing expert policies online in Markov decision processes (MDPs). Given a set of expert policies trained on a state and action space, the goal is to maximize the cumulative reward of our agent. The hope is to quickly find the best expert in our set. The MAB formulation allows us to quantify the performance of an algorithm in terms of the regret incurred from not choosing the best expert from the beginning. We first develop the theoretical framework for MABs in MDPs, and then present a basic regret decomposition identity. We then adapt the classical Upper Confidence Bounds algorithm to the problem of choosing experts in MDPs and prove that the expected regret grows at worst at a logarithmic rate. Lastly, we validate the theory on a small MDP.

研究の動機と目的

• 運用条件が未知または変化する状況下で、MDPにおけるエキスパート方策のオンライン選択フレームワークを開発すること。
• 状態遷移と報酬が時間ステップにわたって結合されているMDPにおいて、エキスパート間の動的切り替えの課題に対処すること。
• 累積報酬と最良のエキスパートの定常状態報酬との差として定義されるレグレットを用いて性能を定量化すること。
• エキスパート方策によって誘発されるマルコフ連鎖の遷移効果と混合率を考慮することで、古典的MAB理論をMDPに拡張すること。
• GridWorld MDP上で理論的フレームワークを実証し、対数的レグレットと環境変化への迅速な適応を示すこと。

提案手法

• 各エキスパートを異なる報酬分布を持つ方策として扱い、MDPにおけるエキスパート選択をマルチアームバンディット問題として定式化する。
• 時間ホライズンに基づくスイッチング戦略を導入：各エキスパートは $ T_n $ 時間ステップ使用された後、切り替えられる。これにより、一時的効果の減衰のための混合時間保証が得られる。
• 混合率 $ \alpha_e $ の各エキスパートのマルコフ連鎖に起因する一時的誤差を捉えるために、レグレット分解恒等式を導出する。
• サンプリング頻度と混合時間に基づく信頼区間を組み込むことで、UCBアルゴリズムをMDP設定に適応する。
• 定常状態報酬と時間ホライズン内での期待報酬との乖離をバウンディングするために、エルゴディシティ仮定を用いる。
• 遷移および報酬ダイナミクスの確率的カーネル表現を用い、エキスパート方策下での状態分布の進化を形式的に分析可能にする。

実験結果

リサーチクエスチョン

• RQ1 状態と報酬のダイナミクスが結合されているMDPにおいて、マルチアームバンディットフレームワークをオンラインエキスパート選択に効果的に適応できるか？
• RQ2 MDP設定において、エキスパート切り替えに起因する一時的効果を理論的にバウンディングできるか？
• RQ3 MDPにおけるオンラインエキスパート選択アルゴリズムのレグレット成長率は何か？また、それが対数的に成長することを証明できるか？
• RQ4 エキスパートによって誘発されるマルコフ連鎖の混合率は、実際の報酬と定常状態報酬の差にどのように影響するか？
• RQ5 遅延した状態収束を伴うMDPにおいて、UCBアルゴリズムを変更することで対数的レグレットを維持できるか？

主な発見

• エルゴディシティおよび混合率仮定の下で、提案されたMABベースのエキスパート選択アルゴリズムの期待レグレットは、時間に対して高々対数的に成長する。すなわち、$ O(\log n) $ である。
• レグレット分解恒等式が導出され、全レグレットが非最適エキスパート選択の和と、各エキスパートのマルコフ連鎖の混合率 $ \alpha_e $ に比例する加法的誤差項の和でバウンディングされることを示した。
• 加法的誤差項は、$ \frac{C_e(1 - \alpha_e^{T_n})}{T_n(1 - \alpha_e)} $ で上界が与えられ、時間ホライズン $ T_n $ が増加するにつれて減少する。
• GridWorld MDPにおける実証的検証により、UCBベースのアルゴリズムが対数的成長のレグレットを達成し、環境変化に迅速に適応することが示された。
• 訓練データに明示的に含まれない未確認または変化する環境条件においても、本手法は頑健であることが示された。
• 理論的レグレットバウンダリーは保守的であるため、今後の研究でよりタイトなバウンダリーが得られる可能性がある。