[論文レビュー] On the Convergence of the Monte Carlo Exploring Starts Algorithm for Reinforcement Learning

Che Wang, Keith W. Ross+2 more|arXiv (Cornell University)|Feb 10, 2020

Reinforcement Learning in Robotics参考文献 9被引用数 5

ひとこと要約

本論文は、最適方策が状態を再訪問しないOptimal Policy Feed-Forward MDPsにおけるモンテカルロ探索開始（MCES）アルゴリズムのほとんど確実な収束を確立する。強い大数の法則に基づく新しい帰納的アプローチを用いて、一様な探索や割引報酬を必要とせず、強化学習における長年の理論的未解決問題を、広範なエピソード的環境のクラスに対して解消する。

ABSTRACT

A simple and natural algorithm for reinforcement learning (RL) is Monte Carlo Exploring Starts (MCES), where the Q-function is estimated by averaging the Monte Carlo returns, and the policy is improved by choosing actions that maximize the current estimate of the Q-function. Exploration is performed by "exploring starts", that is, each episode begins with a randomly chosen state and action, and then follows the current policy to the terminal state. In the classic book on RL by Sutton & Barto (2018), it is stated that establishing convergence for the MCES algorithm is one of the most important remaining open theoretical problems in RL. However, the convergence question for MCES turns out to be quite nuanced. Bertsekas & Tsitsiklis (1996) provide a counter-example showing that the MCES algorithm does not necessarily converge. Tsitsiklis (2002) further shows that if the original MCES algorithm is modified so that the Q-function estimates are updated at the same rate for all state-action pairs, and the discount factor is strictly less than one, then the MCES algorithm converges. In this paper we make headway with the original and more efficient MCES algorithm given in Sutton & Barto (1998), establishing almost sure convergence for Optimal Policy Feed-Forward MDPs, which are MDPs whose states are not revisited within any episode when using an optimal policy. Such MDPs include a large class of environments such as all deterministic environments and all episodic environments with a timestep or any monotonically changing values as part of the state. Different from the previous proofs using stochastic approximations, we introduce a novel inductive approach, which is very simple and only makes use of the strong law of large numbers.

研究の動機と目的

• 強化学習におけるMCES収束の長年の未解決問題を解消すること、特に元来の、より効率的なアルゴリズムバージョンを対象とすること。
• 一様な探索や厳密な割引報酬を必要としない最小限の仮定の下での収束を確立すること。
• 複雑な確率的近似理論を避ける、洗練された帰納的証明技法を提供すること。
• MCESがほとんど確実に収束する広範なMDPのクラス、すなわち最適方策フィードフォワードMDPを特定すること。
• MCESの理論的限界を明確にすることにより、直観的に魅力的でもあるが収束に失敗する条件を同定すること。

提案手法

• 強い大数の法則にのみ依存する、新しい帰納的証明フレームワークを導入し、確率的近似手法を避ける。
• エピソードごとのQ値推定の進化を、異なる初期状態-行動ペアにおける期待報酬への収束を追跡することで分析する。
• 学習反復の過程で方策と価値のダイナミクスを追跡するため、Q値空間内の領域（例：R1, R2, T3, T4）を定義する。
• 繰り返しの探索開始におけるQ推定の長期的挙動をモデル化するため、標本報酬期待値（例：−μ₁, −μ₂, −μ₃）を用いる。
• 各状態-行動ペアが無限回訪問されると、Q値が期待報酬に収束することを示し、方策の安定性を保証する。
• すべてのペアが無限回更新されるように、初期状態-行動ペアに対するサイクル的探索戦略を採用し、収束を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一様な探索や割引報酬を必要とせず、広範なMDPクラスにおいて、元来のモンテカルロ探索開始（MCES）アルゴリズムはほとんど確実に収束するか？
• RQ2 強い大数の法則に基づく単純な帰納的証明は、MCES収束の証明において複雑な確率的近似理論を置き換え可能か？
• RQ3 MCESが収束しないMDPの構造は何か？また、その失敗の原因となる構造的性質（例：状態の再訪問）は何か？
• RQ4 最適方策が状態を再訪問しないエピソード的環境において、MCESの収束は可能か？
• RQ5 Q値推定が安定し、方策が収束するための条件は何か？特に、1エピソードにつき1つのQ値のみが更新される場合でも成立するか？

主な発見

• 最適方策が状態を再訪問しないOptimal Policy Feed-Forward MDPsにおいて、MCESアルゴリズムはほとんど確実に収束する。
• 証明は、強い大数の法則にのみ依存しており、確率的近似や一様な探索を必要としない。
• 最適方策で状態の再訪問が発生するMDPでは、Q値更新における循環的挙動を示す反例により、MCESは収束しないことが示された。
• 各状態-行動ペアが初期状態-行動ペアとして無限回選択されると、Q値は期待モンテカルロ報酬に収束する。
• Q値が収束し、さらなる方策改善が発生しなくなるときのみ、方策が安定する。この条件は、研究対象のMDPクラスでは保証される。
• 証明により、Q値空間の領域間の振動が無限に続くことは不可能であり、安定した推定値への収束が保証される。