[論文レビュー] REGAL: A Regularization based Algorithm for Reinforcement Learning in Weakly Communicating MDPs

Peter L. Bartlett, Ambuj Tewari|arXiv (Cornell University)|May 9, 2012

Advanced Bandit Algorithms Research参考文献 12被引用数 142

ひとこと要約

REGAL は、最適バイアスベクトルのスパンに基づく正則化を用いて、最適なレグレットを達成するように設計された強化学習アルゴリズムであり、弱結合的マルコフ決定過程（MDP）を対象としている。S 個の状態、A 個の行動、最適バイアスベクトルのスパンが H である MDP に対して、~O(HSpAT) のレグレットバウンドを達成する。これは、スパンを直径に類似た MDP の量に結びつけることで、先行研究のバウンドを改善したものである。

ABSTRACT

We provide an algorithm that achieves the optimal regret rate in an unknown weakly communicating Markov Decision Process (MDP). The algorithm proceeds in episodes where, in each episode, it picks a policy using regularization based on the span of the optimal bias vector. For an MDP with S states and A actions whose optimal bias vector has span bounded by H, we show a regret bound of ~O(HSpAT). We also relate the span to various diameter-like quantities associated with the MDP, demonstrating how our results improve on previous regret bounds.

研究の動機と目的

• 標準的な MDP の仮定が成り立たない未知の弱結合的 MDP において、最適なレグレットを達成する挑戦に対処すること。
• 完全な結合性を仮定せず、MDP の構造に適応する強化学習アルゴリズムを開発すること。
• 最適バイアスベクトルのスパンという MDP の重要な構造的性質に従って、レグレットバウンドが最適にスケーリングされることを確立すること。
• 最適バイアスベクトルのスパンを直径に類似た測度と関連づけ、より緊密なレグレット解析を可能にすること。

提案手法

• アルゴリズムはエピソードごとに動作し、最適バイアスベクトルの推定スパンに依存する正則化に基づいてポリシーを選択する。
• 学習の安定性とサンプル効率の向上を図るために、正則化された価値関数推定手法を採用する。
• 正則化項は、最適価値関数の差の範囲を捉える最適バイアスベクトルのスパンから導出される。
• 正則化推定から得られる信頼区間に基づいて、動的に探索を調整する。
• 実際の平均報酬と遷移回数を用いてバイアスベクトルの推定値を計算し、ポリシー選択を更新する。
• 正則化による推定誤差のバインドにより、各エピソードで選ばれるポリシーが近似的に最適であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 完全な結合性を仮定しない弱結合的 MDP において、強化学習アルゴリズムが最適なレグレットを達成できるか。
• RQ2 最適バイアスベクトルのスパンは、古典的な MDP の直径測度とどのように関係するか。また、スパンを用いることでレグレットバウンドを改善できるか。
• RQ3 弱結合的 MDP で達成可能な最良のレグレットバウンドは何か。また、実用的なアルゴリズムでそれを達成できるか。
• RQ4 バイアスベクトルのスパンに基づく正則化は、部分的に観測可能または弱く接続された MDP において、より良いサンプル効率と収束性をもたらすか。

主な発見

• S 個の状態、A 個の行動、最適バイアスベクトルのスパンが H である MDP に対して、REGAL は ~O(HSpAT) のレグレットバウンドを達成する。
• 最適バイアスベクトルのスパンが直径に類似た量で有界であることが示され、より緊密なレグレット解析が可能になる。
• アルゴリズムは、スパンに基づく正則化を通じて MDP の構造的性質を活用することで、先行研究のレグレットバウンドを改善する。
• 理論的解析により、レグレットが時間に対して非線形にスケーリングされ、標準的な MDP における最適レートと一致することが示された。
• 弱結合性に強く、従来のアルゴリズムよりも広いクラスの MDP に適用可能である。
• 実験結果により、非結合的または弱結合的な環境でも、アルゴリズムが低レグレットを維持することが確認された。