[論文レビュー] Solving Compositional Reinforcement Learning Problems via Task Reduction

Yunfei Li, Yilin Wu+3 more|arXiv (Cornell University)|Mar 13, 2021

Reinforcement Learning in Robotics参考文献 76被引用数 8

ひとこと要約

本稿では、状態空間の摂動を用いて難しいタスクをより簡単で解けるタスクに還元することで、構成的で報酬が疎い連続制御タスクを解く強化学習の枠組みである自己模倣による還元（SIR）を提案する。これらの還元によって自己生成された解決経路を模倣することで、階層的方策や手作業で設計されたスキルを必要とせずに学習を加速し、積み上げや押し出し、ナビゲーションタスクにおいて最先端の性能を達成した。

ABSTRACT

We propose a novel learning paradigm, Self-Imitation via Reduction (SIR), for solving compositional reinforcement learning problems. SIR is based on two core ideas: task reduction and self-imitation. Task reduction tackles a hard-to-solve task by actively reducing it to an easier task whose solution is known by the RL agent. Once the original hard task is successfully solved by task reduction, the agent naturally obtains a self-generated solution trajectory to imitate. By continuously collecting and imitating such demonstrations, the agent is able to progressively expand the solved subspace in the entire task space. Experiment results show that SIR can significantly accelerate and improve learning on a variety of challenging sparse-reward continuous-control problems with compositional structures. Code and videos are available at https://sites.google.com/view/sir-compositional.

研究の動機と目的

• 事前に定義されたスキルや階層的構造に依存せずに、報酬が疎い環境における複雑で構成的な意思決定方策の学習に取り組むこと。
• 自己生成されたデモを介して、政策学習に自然に構成的インダクティブバイアスを組み込む手法を開発すること。
• 困難なタスクを繰り返し解けるタスクに還元し、その結果得られる経路を模倣することで、次第に複雑なタスクを効率的に学習可能にする仕組みを提供すること。
• タスク還元と模倣学習の組み合わせが、カリキュラム学習や階層的強化学習を上回ることを実証すること。

提案手法

• SIRは、環境の状態を摂動することで、困難なタスクを解ける簡単な変種に還元するタスク還元を採用する。
• エージェントはゴール条件付き方策と汎用価値関数を用い、状態空間の探索を通じて還元を探索・実行する。
• 困難なタスクが還元によって解かれた後、その結果得られた経路が模倣学習用のデモとして収集される。
• エージェントはタスク還元と模倣学習を交互に実行し、タスク空間における解けるタスクの集合を段階的に拡大する。
• 視覚的環境では、SIRは画像を低次元の潜在空間に埋め込むために事前学習済みのβ-VAEを用い、CEM最適化を介して潜在空間での還元を実現する。
• SIRは任意の表現力のある方策アーキテクチャと併用可能であり、明示的なスキルやオプションの定義を必要とせず、階層的強化学習の最適化の困難さを回避する。

実験結果

リサーチクエスチョン

• RQ1 タスク還元は、報酬が疎い連続制御環境において、複雑な構成的方策の学習を効率的に行えるか？
• RQ2 SIRは、標準的な強化学習、模倣学習、階層的強化学習と比較して、構成的タスクをどのように解いているか？
• RQ3 SIRは、手動でのカリキュラム設計を一切行わずに、困難なタスクを解けるタスクに還元することで、暗黙のカリキュラムを構築できるか？
• RQ4 β-VAEによる表現学習と組み合わせたSIRは、視覚的入力ドメインにも一般化可能か？
• RQ5 SIRはカリキュラム学習と組み合わせることで、単独では解けないタスクを解けるようになるか？

主な発見

• SIRは、ロボットの押し出し、積み上げ、迷路ナビゲーションを含む、報酬が疎い連続制御タスクにおいて、学習の加速と性能向上を顕著に実現した。
• 4ルーム迷路および3ルーム迷路の環境では、SIRはPPO、SIL、およびHIROやDSCのようなHRLベースラインを上回り、特に構成的戦略を要する複雑なシナリオで顕著な優位性を示した。
• 均一なタスクサンプラーを用いたSIRは、10^6サンプルを必要とするGoalGANベースのカリキュラム学習を上回り、軽量で暗黙のカリキュラムを用いることでより優れた結果を得た。
• 視覚的U-ウォール迷路タスクでは、β-VAEとCEMベースの還元を用いたSIRがPPOやSILを上回る性能を発揮し、画像ベースの設定でも有効性を示した。
• 手動で設計されたカリキュラムと組み合わせたSIRは、カリキュラム学習単体では未解決のままだった挑戦的な積み上げタスクを正常に解けた。
• SIRはオブジェクトベースの状態空間と視覚的状態空間の両方で優れた性能を維持し、広範な適用可能性と頑健性を示した。