[論文レビュー] Meta-Model-Based Meta-Policy Optimization

T. HIRAOKA, Takahisa Imagawa+4 more|arXiv (Cornell University)|Jun 4, 2020

Reinforcement Learning in Robotics参考文献 41被引用数 4

ひとこと要約

本稿では、モデルベースのメタ強化学習（meta-RL）手法として、Meta-Model-Based Meta-Policy Optimization（M3PO）を提案する。この手法は、Jannerら（2019）の定理をメタ-RL設定に拡張することで理論的性能保証を提供する。M3POはメタモデルにおける分岐ロールアウトを用いることで、サンプル効率と一般化性能を向上させ、連続制御ベンチマークにおいて、PEARL や M2PO などの先行手法を上回る性能を発揮する。特に長期的適応および方向制御タスクにおいて顕著な優位性を示す。

ABSTRACT

Model-based meta-reinforcement learning (RL) methods have recently been shown to be a promising approach to improving the sample efficiency of RL in multi-task settings. However, the theoretical understanding of those methods is yet to be established, and there is currently no theoretical guarantee of their performance in a real-world environment. In this paper, we analyze the performance guarantee of model-based meta-RL methods by extending the theorems proposed by Janner et al. (2019). On the basis of our theoretical results, we propose Meta-Model-Based Meta-Policy Optimization (M3PO), a model-based meta-RL method with a performance guarantee. We demonstrate that M3PO outperforms existing meta-RL methods in continuous-control benchmarks.

研究の動機と目的

• モデルベースのメタ-RL手法において理論的性能保証が欠如している問題に取り組む。これは、強力な実験的結果を示す一方で、モデルバイアスに苦しむことが一般的である。
• Janner ら（2019）のモデルベースのロールアウトに関する理論的枠組みを、特に部分的に観測可能なマルコフ決定過程（POMDPs）を想定したメタ-RL設定に拡張する。
• 理論的保証を活用して、マルチタスク強化学習におけるサンプル効率とロバストネスを向上させる実用的なメタ-RLアルゴリズムを設計する。
• メタモデルによるモデル適応が、特に長時間スパンおよび方向制御タスクにおいてメタポリシー性能を向上させることを実証的に検証する。

提案手法

• 理論的分析を可能にするために、メタ-RL問題をPOMDPの特殊ケースとして形式化する。
• Janner ら（2019）の性能保証定理をメタ-RLに拡張し、分岐ロールアウトとフルモデルロールアウトを比較する。
• 理論的性能バウンドを備えた実用的アルゴリズムM3POを提案する。このアルゴリズムは文脈に応じたメタモデルと分岐ロールアウトを用いて行動計画を実行する。
• ハイパーパrameter β を用いてメタモデルの影響を段階的に適応させるスケジュールを実装し、学習の安定性と長期的性能を向上させる。
• 遷移ダイナミクスにアンサンブルガウスモデルを用い、メタ学習された文脈を用いたモデル予測制御（MPC）を適用して迅速な適応を実現する。
• M3POを非適応的モデルベースのベースライン（M2PO）およびPEARLと比較し、メタモデル適応の影響を隔離する。

実験結果

リサーチクエスチョン

• RQ1 標準的な強化学習におけるモデルベースロールアウトの理論的性能保証を、メタ-RL設定に拡張できるか？
• RQ2 メタ-RLにおいて、分岐ロールアウトはフルモデルロールアウトよりもよりきめ細かく保証されるか？その利点は、分岐ロールアウトの使用を正当化するか？
• RQ3 メタモデルによるモデル適応は、長時間スパンおよび多方向制御タスクにおいて、メタポリシー性能を顕著に向上させるか？
• RQ4 メタモデルの段階的適応は、学習の安定性および最終的性能にどのように影響するか？
• RQ5 サンプル効率とロバストネスを達成する上で、メタモデルとベースモデルの相対的寄与度は何か？

主な発見

• M3POは、Halfcheetah-pier、Walker2D-randomparams、Humanoid-direc において、PEARL や M2PO よりも長期的な学習で優れた性能を発揮し、最終的なリターンは同等または上回る。
• 段階的適応スケジュール（M3PO-h）は長期的性能を向上させ、3つの環境すべてでPEARLの性能を同等または上回る。
• M3POはHumanoid-direcで方向制御を達成するが、M2POは失敗し、動的でないため「立ち止まる」ポリシーを学習する。
• M2POは初期学習段階で低いTDエラーを示しており、一部の状況では非適応的モデルがより安定した最適化を提供している可能性を示唆する。
• Halfcheetah-fwd-bwdおよび方向制御タスクにおいて、メタモデルの使用が顕著に性能を向上させ、動的適応の価値を実証する。
• 理論的分析により、メタ-RLにおいて分岐ロールアウトがフルモデルロールアウトよりもきめ細かな性能保証を提供することが確認され、M3POにおける分岐ロールアウトの使用が正当化される。