[論文レビュー] Model Primitive Hierarchical Lifelong Reinforcement Learning

Bo-Han Wu, Jayesh K. Gupta+1 more|arXiv (Cornell University)|Mar 4, 2019

Reinforcement Learning in Robotics参考文献 26被引用数 4

ひとこと要約

本稿では、多様な部分最適な世界モデル（モデルプリミティブと呼ばれる）を用いて、下位から上位へと複雑なタスクをモジュラーな部分方策とゲーティングコントローラーに自動的に分解する、Model Primitive Hierarchical Lifelong Reinforcement Learning (MPHRL) というフレームワークを提案する。このアプローチにより、部分方策の転移と悪化的忘却の回避を可能にし、標準的なPPOに比べて顕著なサンプル効率の向上を達成する。

ABSTRACT

Learning interpretable and transferable subpolicies and performing task decomposition from a single, complex task is difficult. Some traditional hierarchical reinforcement learning techniques enforce this decomposition in a top-down manner, while meta-learning techniques require a task distribution at hand to learn such decompositions. This paper presents a framework for using diverse suboptimal world models to decompose complex task solutions into simpler modular subpolicies. This framework performs automatic decomposition of a single source task in a bottom up manner, concurrently learning the required modular subpolicies as well as a controller to coordinate them. We perform a series of experiments on high dimensional continuous action control tasks to demonstrate the effectiveness of this approach at both complex single task learning and lifelong learning. Finally, we perform ablation studies to understand the importance and robustness of different elements in the framework and limitations to this approach.

研究の動機と目的

• 事前に定義されたタスク分布や正確な世界モデルがなくても、解釈可能で転移可能な部分方策を複雑なタスクに対して学習する課題に対処すること。
• 単一の複雑なタスクを、関連するタスク間で再利用可能なモジュラーな部分方策に分解することで、生涯強化学習を可能にすること。
• モデルプリミティブを階層的方策分解の基盤として用いることで、逐次的タスク学習におけるサンプル複雑性の低減と悪化的忘却の防止を実現すること。
• 部分最適で多様な世界モデルが、タスク分解と転移学習のための有効なプリミティブとして機能できることを示すこと。

提案手法

• フレームワークは、状態空間の各領域に特化した部分最適な世界モデル（モデルプリミティブと呼ぶ）の集合を用い、複雑なタスクを単純な部分タスクに分解する。
• 各モデルプリミティブは、現在の状態と行動から次の状態を予測し、ダイナミクス予測における重み付き平均二乗誤差損失を用いて学習される。
• ゲーティングコントローラーは、現在の状態とモデルプリミティブの予測に基づき、部分方策の選択、順序付け、適応を学習する。
• ゲーティングコントローラーは、予測されたモデルプリミティブ確率から導かれる交差エントロピー目標を用いる、エキスパートの混合に類似したアーキテクチャを採用する。
• 部分方策は、ゲーティングコントローラーと同時にエンドツーエンドで学習され、コントローラーが適切な部分方策を通じて行動をルーティングするように学習される。
• 正確な世界モデルや事前に定義されたタスク分布に依存しないようにし、代わりにモデルプリミティブの多様性を活用して、頑健な分解を実現する。

実験結果

リサーチクエスチョン

• RQ1 部分最適で多様な世界モデルは、再利用可能なモジュラーな部分方策に単一の複雑なタスクを効果的に分解するために有効に使用できるか？
• RQ2 部分方策とゲーティングコントローラーの共同学習は、生涯強化学習におけるサンプル効率をどのように向上させるか？
• RQ3 モデルプリミティブの使用は、逐次的タスク学習における悪化的忘却と負の転移をどの程度軽減するか？
• RQ4 不完全またはノイズの多いモデルプリミティブに対してもフレームワークはどれほど頑健であり、手動で設計されたものではなく学習によって得られたモデルプリミティブでも性能を維持できるか？

主な発見

• MPHRLは、10-Maze環境において、標準的なPPOに比べて80％の成功率に到達するのに必要なタイムステップ数を50％以上削減し、顕著なサンプル効率の向上を達成した。
• 各新しいタスクに対して部分方策を再初期化した場合、サンプル複雑性は5倍以上に増加した。これは、効率向上に部分方策の転移が果たす重要な役割を示している。
• 転移時にゲーティングコントローラーを再初期化しない場合、性能のばらつきが増加し、負の転移による不安定性が顕在化した。これは、適切なコントローラー管理の重要性を示している。
• 手動で設計されたモデルプリミティブではなく学習によって得られたものを使った場合、性能はわずかに低下したが、依然として標準的なPPOを大きく上回った。
• 式(1)ではなく式(9)を用いるべき交差エントロピー目標が誤って使用された場合、すべての実験で最初の5つのタスクを解けず失敗した。これは、交差エントロピー目標を予測されたモデルプリミティブ確率と結合させる必要があることを示している。
• フレームワークはタスクの順序に強く依存せず、部分的分解に対しても頑健であり、元のタスクがすべての有用な部分方策に完全に分解されない場合でも高い性能を維持した。