[論文レビュー] ProMP: Proximal Meta-Policy Search

Jonas Rothfuss, Dennis Lee+3 more|arXiv (Cornell University)|Oct 16, 2018

Reinforcement Learning in Robotics被引用数 10

ひとこと要約

ProMPは、事前更新と適応後ポリシー間の統計的距離を制御することにより、事前適応行動への信用配分を向上させる、新しいメタ強化学習アルゴリズムを導入する。これにより、安定的かつ効率的なメタポリシー最適化が可能となり、MAML や LVC-VPG と比較して、複数の MuJoCo 環境で優れたサンプル効率、より速いウォールクロック時間での学習、およびより優れた漸近的性能を達成する。

ABSTRACT

Credit assignment in Meta-reinforcement learning (Meta-RL) is still poorly understood. Existing methods either neglect credit assignment to pre-adaptation behavior or implement it naively. This leads to poor sample-efficiency during meta-training as well as ineffective task identification strategies. This paper provides a theoretical analysis of credit assignment in gradient-based Meta-RL. Building on the gained insights we develop a novel meta-learning algorithm that overcomes both the issue of poor credit assignment and previous difficulties in estimating meta-policy gradients. By controlling the statistical distance of both pre-adaptation and adapted policies during meta-policy search, the proposed algorithm endows efficient and stable meta-learning. Our approach leads to superior pre-adaptation policy behavior and consistently outperforms previous Meta-RL algorithms in sample-efficiency, wall-clock time, and asymptotic performance.

研究の動機と目的

• 勾配ベースのメタ強化学習における、事前適応行動への信用配分の悪さが、サンプル効率とタスク同定性を損なう問題に対処する。
• 特に信用配分におけるバイアス-分散トレードオフに起因する、メタポリシー勾配推定における理論的課題を形式化する。
• 適応中にポリシーの類似性を維持することで、学習ダイナミクスを改善する、安定的かつ効率的なメタ学習アルゴリズムを開発する。
• MAML や LVC-VPG などの既存手法の限界を克服し、低分散かつ曲率に配慮した代替目的関数を導入する。
• 多様な連続制御環境において、サンプル効率、ウォールクロック時間、および最終的性能の面で一貫した改善を達成する。

提案手法

• メタポリシー勾配推定におけるバイアス-分散トレードオフを改善する低分散曲率（LVC）代替目的関数を提案する。
• KLダイバージェンスや類似する指標を用いて、事前更新ポリシーと適応後ポリシー間の乖離を制約するプロキシマル更新機構を導入する。
• 理論的分析を通じて、ナーブなアプローチや MAML 方式では最適でない勾配が得られることを示し、事前適応行動への信用配分を形式化する。
• PPO をインspired したが、メタ学習に適応した信頼領域的な更新戦略を採用し、メタトレーニング中の安定なポリシー更新を保証する。
• メタアップデートの各イテレーションで複数の内側ポリシー勾配ステップを適用し、適切なクリッピングと正規化を施して安定性を維持する。
• LVC 目的関数をメタポリシー最適化ループに統合し、内側適応と外側メタアップデートを交互に実行する。

実験結果

リサーチクエスチョン

• RQ1 事前適応ポリシー分布への信用配分の悪さは、メタ強化学習の性能とサンプル効率にどのように影響するか？
• RQ2 既存の勾配ベースのメタ強化学習手法が、メタポリシー勾配推定において抱える理論的制限は何か？
• RQ3 低分散かつ曲率に配慮した代替目的関数は、メタポリシー更新の安定性と効率を向上させることができるか？
• RQ4 事前更新と適応後ポリシー間の統計的距離を制御することで、より良い一般化とより速い収束が達成できるか？
• RQ5 ProMP は、多様な連続制御タスクにおいて、既存手法を上回るサンプル効率、ウォールクロック時間、および漸近的性能を達成できるか？

主な発見

• ProMP は、PointEnv、HalfCheetahFwdBack、HumanoidRandDirec を含む、すべての評価対象 MuJoCo 環境で、MAML、LVC-VPG、MAML-TRPO よりも顕著に優れたサンプル効率を達成する。
• 環境リセットのコストを低減するため、MAML-TRPO が高価な共役勾配ステップを用いるのに対し、より長い軌道と少ないリセットにより、ウォールクロック時間のトレーニングを短縮する。
• HumanoidRandDirec および AntRandGoal において、ProMP は MAML-TRPO を上回る漸近的性能を示し、優れた一般化能力と適応能力を示している。
• LVC 代替目的関数は、より安定的かつ分散が小さいメタ勾配推定を実現し、複数の内側更新ステップを用いた信頼性のある最適化を可能にする。
• 実験的結果から、ProMP のプロキシマル更新機構は、ナーブな信用配分手法で見られる性能の崩壊を防ぎ、適応中におけるポリシー安定性を維持していることが示された。
• AntRandGoal や WalkerRandParams のような環境では、ProMP はより少ない勾配ステップで高い平均報酬を達成し、パラメータのランダム化に対して優れたデータ効率とロバストネスを示している。