[論文レビュー] Steady State Analysis of Episodic Reinforcement Learning

Huang Bojun|arXiv (Cornell University)|Nov 12, 2020

Reinforcement Learning in Robotics参考文献 35被引用数 5

ひとこと要約

本稿は、有限ホライズンタスクを有するエピソード的強化学習環境において、任意の行動方策のもとで一意の定常分布が存在することを確立し、周辺状態分布がこの定常状態に収束することを証明している。本稿では定常方策勾配定理と再帰的摂動法を導入し、継続的強化学習と同様に統一的かつ効率的なデータ収集を可能にした。

ABSTRACT

This paper proves that the episodic learning environment of every finite-horizon decision task has a unique steady state under any behavior policy, and that the marginal distribution of the agent's input indeed converges to the steady-state distribution in essentially all episodic learning processes. This observation supports an interestingly reversed mindset against conventional wisdom: While the existence of unique steady states was often presumed in continual learning but considered less relevant in episodic learning, it turns out their existence is guaranteed for the latter. Based on this insight, the paper unifies episodic and continual RL around several important concepts that have been separately treated in these two RL formalisms. Practically, the existence of unique and approachable steady state enables a general way to collect data in episodic RL tasks, which the paper applies to policy gradient algorithms as a demonstration, based on a new steady-state policy gradient theorem. Finally, the paper also proposes and experimentally validates a perturbation method that facilitates rapid steady-state convergence in real-world RL tasks.

研究の動機と目的

• エピソード的強化学習と継続的強化学習の理論的乖離を解消するため、エピソード的タスクにおいて一意の定常状態が存在することを確立すること。
• 定常状態の条件下で、パフォーマンス指標やオンポリシー分布といった共通の概念が厳密に結びついていることを示すことにより、エピソード的および継続的強化学習の形式的統一を図ること。
• 定常分布への収束を活用することで、エピソード的強化学習における効率的なデータ収集のための実用的手法を開発すること。
• 周期的または緩やかに混合する環境において、定常状態への収束を加速する再帰的摂動技術を提案すること。
• オンラインで少数ステップのサンプリングが可能であることを理論的に裏付ける新しい定常方策勾配定理を導出し、検証すること。

提案手法

• 繰り返しエピソードを含む無限ホライズンMDPの族としてエピソード学習を形式化し、周期的リセット構造を用いてモデル化する。
• マルコフ連鎖のエルゴディック性の議論を用いて、任意の行動方策のもとで、すべてのこのようなエピソード的MDPに一意の定常分布が存在することを証明する。
• 行動方策の定常分布の期待値として表される、新しい定常方策勾配定理を導出する。
• 混合を加速し、定常状態への収束を保証するために、確率 $\epsilon = 1 - 1/\mathbb{E}[T]$ で自己ループを挿入する再帰的摂動法を導入する。
• 再帰的摂動による不偏推定を用いて、初期ロールアウトステップからの周辺分布を用いて定常分布を近似する。
• Hopper、Humanoid、HalfCheetahなどの環境で、摂動ありとなしの収束速度を比較して、実験的に手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 有限ホライズンであるにもかかわらず、エピソード的強化学習タスクにおいて一意の定常分布が存在するか？
• RQ2 一般の行動方策のもとで、エピソード的強化学習における状態訪問の周辺分布は、定常分布に収束するか？
• RQ3 定常分布をどのように活用することで、エピソード的および継続的強化学習の形式的統一が可能になるか？
• RQ4 摂動に基づく手法は、周期的または緩やかに混合する環境において、定常状態への収束を加速できるか？
• RQ5 提案された定常方策勾配定理は、現代のポリシー勾配アルゴリズムにおけるオンラインで少数ステップのサンプリングを理論的に正当化できるか？

主な発見

• 任意の行動方策のもとで、すべてのエピソード的強化学習タスクに一意の定常分布が存在し、長年の理論的曇りを解消した。
• 「適切なモデル」としてのエピソード的タスクにおいて、状態訪問の周辺分布は定常分布に収束し、Hopperでは $2 \cdot \text{AEL}$ までに、合成周期的環境では $3 \cdot \text{AEL}$ までに収束が観察された。
• 固定エピソード長を持つHalfCheetahのような環境では、摂動なしでは周辺分布は収束しないが、$\epsilon = 1 - 1/\mathbb{E}[T]$ で再帰的摂動を適用することで、急速に収束するようになった。
• 再帰的摂動法により、強周期的環境でも $3 \cdot \mathbb{E}[T]$ ステップで定常分布の正確な近似が可能となった。
• 実験結果から、摂動付きロールアウト手法は、標準的なオンラインサンプリングに比べてポリシー勾配推定のバイアスを低減し、HumanoidおよびHalfCheetahでの収束が向上した。
• 定常方策勾配定理は、現代のポリシー勾配アルゴリズムにおけるオンラインサンプリングの理論的基盤を提供し、実践的広がりを正当化した。