[論文レビュー] Regret Bounds for Restless Markov Bandits

Ronald Ortner, Daniil Ryabko+2 more|arXiv (Cornell University)|Sep 12, 2012

Advanced Bandit Algorithms Research参考文献 1被引用数 32

ひとこと要約

本稿では、腕の報酬が独立かつ既約なマルコフ連鎖に従って変化する、 restless Markov バンディット問題に対するアルゴリズムを提案する。近似 MDP を構築し、UCRL2 アルゴリズムを適応させることで、遷移分布や周期性を仮定しない状況でも、最適方策に対する regret 界を $\tilde{O}(\sqrt{T})$ に抑え、インデックスベースの方策がこの設定では本質的に劣化していることを示している。

ABSTRACT

We consider the restless Markov bandit problem, in which the state of each arm evolves according to a Markov process independently of the learner's actions. We suggest an algorithm that after $T$ steps achieves $ ilde{O}(\sqrt{T})$ regret with respect to the best policy that knows the distributions of all arms. No assumptions on the Markov chains are made except that they are irreducible. In addition, we show that index-based policies are necessarily suboptimal for the considered problem.

研究の動機と目的

• 腕の状態が、引き操作とは無関係に独立したマルコフ連鎖に従って変化する restless Markov バンディット問題に対処すること。
• 最小限の仮定（唯一の要件は既約性）の下で、最良の腕ではなく最適方策に対する有限時間 regret 界を導出すること。
• この設定においてインデックスベースの方策が本質的に劣化していることを示すこと。
• regret が $T$、腕の数、およびマルコフ連鎖の直径と混合時間にのみ依存するようにすること。
• 周期的マルコフ連鎖および未知の状態空間への拡張を行い、regret スケーリングに最小限の影響を与えること。

提案手法

• 観測からの経過ステップ数に基づいて状態を集約することで、元の POMDP を近似 MDP として表現する。
• 推定された遷移確率と報酬の信頼区間を用いて、近似 MDP で学習を行う UCRL2 アルゴリズムを適応する。
• すべての状態と遷移が十分に探索されるようにサンプリング方式を設計し、マルコフ連鎖の混合性に基づく探索時間の上限を導出する。
• 推定誤差を制御するための濃度不等式を適用し、高確率での regret 界を保証する。
• 周期的マルコフ連鎖に対処するため、$m$-ステップ遷移を考慮し、周期のモジュロに基づくフェーズ内集約を実施する。
• 未知の状態空間に対応するため、すべての状態を発見するための周期的探索フェーズを追加し、追加のステップ数が $O(\log T)$ で抑えられることを示す。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. 報酬を仮定しない状況でも、$\tilde{O}(\sqrt{T})$ の非漸近的 regret 界を restless Markov バンディット問題で達成できるか？
• RQ2 遷移行列や混合時間などのマルコフ連鎖パラメータの事前知識がなくても、同様の界を達成可能か？
• RQ3 なぜインデックスベースの方策は restless バンディット設定では本質的に劣化しているのか？これは、rested バンディットや i.i.d. バンディットの状況とどのように異なるのか？
• RQ4 regret がマルコフ連鎖の構造的性質（直径や混合時間）にどのように依存するか？
• RQ5 未知の状態空間および周期的マルコフ連鎖を扱えるようにアルゴリズムを拡張でき、$\tilde{O}(\sqrt{T})$ の regret 界を維持できるか？

主な発見

• 提案アルゴリズムは、マルコフ連鎖の既約性の仮定のみで、最適方策に対する regret 界が $\tilde{O}(\sqrt{T})$ に抑えられることを示した。
• regret 界は腕の直径と混合時間に依存するが、$T$ と腕の数にのみ表す形にした場合、これらは最終的な界では消去可能である。
• 下界 $\Omega(\sqrt{ST})$ が確立され、$T$ に対する $\tilde{O}(\sqrt{T})$ の依存性は著しく改善できないことが示された。
• インデックスベースの方策が、restless バンディット問題において本質的に劣化していることが証明され、これは rested や i.i.d. の場合とは異なる。
• 周期的マルコフ連鎖に対しても、$m$-ステップ遷移とフェーズベースの集約を用いることで、状態数への regret 依存がわずかに増加するのみで、アルゴリズムは有効に機能する。
• 未知の状態空間では、すべての状態を発見するための追加 regret が $O(\log T)$ で抑えられ、全体の $\tilde{O}(\sqrt{T})$ の regret スケーリングが保たれる。