[論文レビュー] Regularized Hierarchical Policies for Compositional Transfer in Robotics.

Markus Wulfmeier, Abbas Abdolmaleki+8 more|arXiv (Cornell University)|Jun 26, 2019

Reinforcement Learning in Robotics参考文献 23被引用数 14

ひとこと要約

本論文では、共有される部分方策を有する構造的方策階層を用いることで、複数のロボットタスク間での効率的な知識転送を可能にする正則化された階層的方策を提案する。階層的構造に適合するインダクティブバイアスを備えた新しい強化学習（RL）アルゴリズムを用いることで、ベースラインと比較して、シミュレーションおよび実世界のロボット実験の両方で著しく高速かつデータ効率の良い学習が達成される。

ABSTRACT

The successful application of flexible, general learning algorithms -- such as deep reinforcement learning -- to real-world robotics applications is often limited by their poor data-efficiency. Domains with more than a single dominant task of interest encourage algorithms that share partial solutions across tasks to limit the required experiment time. We develop and investigate simple hierarchical inductive biases -- in the form of structured policies -- as a mechanism for knowledge transfer across tasks in reinforcement learning (RL). To leverage the power of these structured policies we design an RL algorithm that enables stable and fast learning. We demonstrate the success of our method both in simulated robot environments (using locomotion and manipulation domains) as well as real robot experiments, demonstrating substantially better data-efficiency than competitive baselines.

研究の動機と目的

• 実世界のロボット工学アプリケーションにおける深層強化学習の低いデータ効率を改善すること。
• 構造的方策階層を通じて部分的解決策を共有することにより、関連する複数のタスク間での知識転送を可能にすること。
• 階層的インダクティブバイアスを効果的に活用できる安定的かつ高速な強化学習アルゴリズムの設計。
• 歩行および操作タスクの両方のシミュレーションおよび実世界のロボット環境において、この手法の評価。

提案手法

• 本手法は、タスク間で共有される部分方策を学習することで、合成的転送を可能にする階層的方策構造を採用する。
• 学習の安定化とタスク間での知識共有の促進を目的に、方策パラメータに正則化スキームを適用する。
• 階層的方策の安定した訓練を支援するように設計されたRLアルゴリズムにより、複雑な環境でも高速収束が可能になる。
• アーキテクチャは2段階のポリシー構造を採用している：上位方策が部分方策を選択し、下位方策がタスク固有の行動を実行する。
• 関連するタスク間での一般化と転送を促進するために、方策ネットワークに構造的インダクティブバイアスを統合する。

実験結果

リサーチクエスチョン

• RQ1 階層的方策構造は、ロボットのマルチタスク強化学習におけるデータ効率を向上させ得るか？
• RQ2 共有される部分方策は、異なる歩行および操作タスク間で、どの程度効果的に知識を転送できるか？
• RQ3 提案された正則化スキームは、階層的強化学習における学習の安定性と速度を向上させるか？
• RQ4 本手法は、シミュレーションおよび実世界の設定において、非階層的または非正則化されたベースラインをどの程度上回るか？

主な発見

• 提案手法は、シミュレーションおよび実機ロボット環境の両方で、競合するベースラインと比較して著しく優れたデータ効率を達成する。
• 階層的方策構造により、複数のタスク間での知識転送が効果的に可能となり、必要な実験時間の短縮が図られる。
• 正則化により、学習の安定性が向上し、マルチタスク環境下での共有部分方策の性能が強化される。
• 本手法は、シミュレーションおよび実世界の両方で、歩行および操作タスクにおいて優れた一般化性能と高速な学習を示す。