[論文レビュー] Mirror Learning: A Unifying Framework of Policy Optimisation

Jakub Grudzien Kuba, Christian Schroeder de Witt+1 more|arXiv (Cornell University)|Jan 7, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

この論文は、深層強化学習における方策最適化の包括的理論的枠組みであるミラー学習（Mirror Learning）を導入し、単調な改善と収束保証を提供する。PPO や TRPO といった最先端のアルゴリズムが、この枠組みに自然に埋め込まれており、ヒューリスティックな類似性ではなく、厳密な理論によってそれらの実験的成功を説明している。

ABSTRACT

Modern deep reinforcement learning (RL) algorithms are motivated by either the generalised policy iteration (GPI) or trust-region learning (TRL) frameworks. However, algorithms that strictly respect these theoretical frameworks have proven unscalable. Surprisingly, the only known scalable algorithms violate the GPI/TRL assumptions, e.g. due to required regularisation or other heuristics. The current explanation of their empirical success is essentially "by analogy": they are deemed approximate adaptations of theoretically sound methods. Unfortunately, studies have shown that in practice these algorithms differ greatly from their conceptual ancestors. In contrast, in this paper we introduce a novel theoretical framework, named Mirror Learning, which provides theoretical guarantees to a large class of algorithms, including TRPO and PPO. While the latter two exploit the flexibility of our framework, GPI and TRL fit in merely as pathologically restrictive corner cases thereof. This suggests that the empirical performance of state-of-the-art methods is a direct consequence of their theoretical properties, rather than of aforementioned approximate analogies. Mirror learning sets us free to boldly explore novel, theoretically sound RL algorithms, a thus far uncharted wonderland.

研究の動機と目的

• 理論的RL枠組み（GPI と TRL）と、PPO や TRPO のようなスケーラブルで実用的なアルゴリズムの間のギャップを埋める。
• GPI や TRL のコア仮定を破る広く使われているアルゴリズムに対する理論的根拠の欠如を解消する。
• 既存の手法を包含する一貫性があり一般性の高い枠組みを提供し、理論的に整合性のある新しいアルゴリズムの設計を可能にする。
• PPO や類似手法の実験的成功を、近似的な類似性ではなく、新しい枠組み内の内在的な理論的性質によって説明する。

提案手法

• 現在の方策の近傍に制限され、更新コスト（「ドリフト」と呼ばれる）を制約しながら、価値関数を最大化する一般化された方策最適化枠組みとしてミラー学習を導入する。
• 任意のドリフト関数（例：KLダイバージェンス、L2距離、全変動）を用いて方策更新コストを測定し、柔軟でスケーラブルな制約を可能にする。
• 制約付き最適化として方策更新を定義：ドリフト制約と近傍制約の下で価値関数の改善を最大化する。
• 理論的保証を確立：任意の更新サイズ制約のもとで、単調な改善と最適方策への収束を保証する。
• 方策最適化を、状態間の最適性ギャップによって上限が設定されたパス重みを持つ有向グラフ上の探索として再解釈する。
• 単純な環境（1ステップゲーム、表形式ゲーム、GridWorld）を用いて、複数のドリフトおよび近傍設定で枠組みを実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 GPI や TRL の仮定を破るにもかかわらず、PPO や TRPO のようなスケーラブルな深層RLアルゴリズムが強力な実験的性能を達成する理由は何か？
• RQ2 これらのアルゴリズムの成功を説明する統一的理論的枠組みを構築できるか？ その枠組みは形式的な収束保証を提供するか？
• RQ3 GPI や TRL の制限された制約を超えて、より広いクラスの安定的でスケーラブルなアルゴリズムを含めるには、どのように方策最適化を一般化できるか？
• RQ4 ドリフト関数の選択と方策最適化アルゴリズムの収束行動との関係は何か？
• RQ5 方策最適化を、上限が設定されたパス重みを持つグラフ探索問題として形式化できるか？ そしてこの視点は新たな理論的洞察をもたらすか？

主な発見

• ミラー学習は、PPO や TRPO を含む広いクラスのアルゴリズムについて、単調な改善と最適方策への収束という理論的保証を提供する。
• PPO や TRPO がミラー学習の自然な例であることが示され、それらの実験的成功がヒューリスティックな類似性ではなく、内在的な理論的性質によって説明できる。
• 数値実験により、ミラー学習枠組み内に含まれるアルゴリズムが単調な改善を達成し、単純な環境で最適報酬に収束することが確認された。
• 総ドリフト（方策更新サイズの指標）が報酬増加に対して有界であることが確認され、論文の理論的不等式 (9) が裏付けられた。
• 異なるドリフト関数（KL、L2、TV、ゼロ）の選択が、近傍作用素の選択よりも学習曲線に大きな影響を与えるが、両者とも収束ダイナミクスに影響を及ぼす。
• ミラー学習のグラフ理論的解釈により、最適化パスにおける任意の2つの方策間の総パス重みが最適性ギャップによって上界で抑えられることを示し、実験的に確認された。