[論文レビュー] Skill Transfer via Partially Amortized Hierarchical Planning

Kevin Xie, Homanga Bharadhwaj+3 more|arXiv (Cornell University)|Nov 27, 2020

Reinforcement Learning in Robotics参考文献 27被引用数 4

ひとこと要約

本稿では、オンラインでスティルを選択する部分的にアンモライズド計画を用いて、学習済みのワールドモデルと組み合わせた階層的強化学習フレームワークを提案する。ポリシーは事前に学習済みであり、オンライン計画によって選択されたスティルに条件付けられるため、強力なベースラインと比較して、複雑なロケモーションタスクにおけるサンプル効率と転移性能が向上する。

ABSTRACT

To quickly solve new tasks in complex environments, intelligent agents need to build up reusable knowledge. For example, a learned world model captures knowledge about the environment that applies to new tasks. Similarly, skills capture general behaviors that can apply to new tasks. In this paper, we investigate how these two approaches can be integrated into a single reinforcement learning agent. Specifically, we leverage the idea of partial amortization for fast adaptation at test time. For this, actions are produced by a policy that is learned over time while the skills it conditions on are chosen using online planning. We demonstrate the benefits of our design decisions across a suite of challenging locomotion tasks and demonstrate improved sample efficiency in single tasks as well as in transfer from one task to another, as compared to competitive baselines. Videos are available at: this https URL

研究の動機と目的

• 学習済みワールドモデルと再利用可能なスティルを統合した1つの強化学習エージェントを構築し、新しいタスクへの迅速な適応を実現すること。
• 単一タスク学習およびタスク間転移の両方におけるサンプル効率の向上を図ること。
• スティルをオンラインで選択する一方でポリシーは事前に学習するという部分的アンモライゼーションの利点を検討すること。
• 一般化を要する挑戦的なロケモーション環境において、本手法の有効性を実証すること。

提案手法

• エージェントは、テスト時にオンライン計画によって選択されたスティルに条件付けられた事前に学習済みポリシーを用いる。
• スティルは、潜在的なスティルシーケンスの結果を予測するための学習済みワールドモデルを用いて、オンライン計画によって選択される。
• 部分的アンモライゼーションは、ポリシーの学習を時間経過で行いながら、テスト時に動的にスティルを選択することで、計画のオーバーヘッドを低減する。
• ワールドモデルは状態遷移と報酬を予測するように訓練され、オンライン計画中の高速なロールアウトを可能にする。
• 階層的構造により、長期間の意思決定（スティル選択）と低レベルの行動生成（ポリシー）が分離される。
• フレームワークは、異なるタスクに対して新しいスティルシーケンスを用いることで、事前に学習済みポリシーを再利用でき、転移学習を支援する。

実験結果

リサーチクエスチョン

• RQ1 部分的にアンモライズドな階層的計画は、複雑な制御タスクにおけるサンプル効率を向上させ得るか？
• RQ2 学習済みワールドモデルとオンラインスティル選択を組み合わせることで、タスク間での転移性能にどのような影響を与えるか？
• RQ3 推論時に動的にスティルを選択することが、固定または事前に学習済みのスティルポリシーを上回るか？
• RQ4 本手法は、新しいタスクへの適応に際して、大規模な再トレーニングの必要性をどの程度低減できるか？

主な発見

• 提案手法は、競合するベースラインと比較して、単一タスク学習における優れたサンプル効率を達成した。
• エージェントは、1つのロケモーションタスクから別のタスクに適応する際、改善された転移性能を示した。
• オンラインスティル選択により、ポリシーの再トレーニングを要せず、テスト時に迅速な適応が可能になった。
• ワールドモデルと階層的計画の統合により、より効果的な長期間計画が実現した。