[論文レビュー] Modulated Policy Hierarchies

Alexander Pashevich, Danijar Hafner+3 more|arXiv (Cornell University)|Nov 30, 2018

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

Modulated Policy Hierarchies (MPH) は、事前学習や交互に学習する段階を必要とせず、疎な報酬からエンドツーエンドで学習する階層的強化学習フレームワークを導入する。ビットベクトル変調を用いたスキルのブレンドと、階層のすべてのレベルでの内発的動機付けにより、MPH はロボット操作タスクにおいて、オプションやMLSHといったベースラインを上回る性能を発揮し、FetchPush-v1 では 71% の成功率、ブロック積み上げタスクでは最適なランダムシードで 99% の成功率を達成した。

ABSTRACT

Solving tasks with sparse rewards is a main challenge in reinforcement learning. While hierarchical controllers are an intuitive approach to this problem, current methods often require manual reward shaping, alternating training phases, or manually defined sub tasks. We introduce modulated policy hierarchies (MPH), that can learn end-to-end to solve tasks from sparse rewards. To achieve this, we study different modulation signals and exploration for hierarchical controllers. Specifically, we find that communicating via bit-vectors is more efficient than selecting one out of multiple skills, as it enables mixing between them. To facilitate exploration, MPH uses its different time scales for temporally extended intrinsic motivation at each level of the hierarchy. We evaluate MPH on the robotics tasks of pushing and sparse block stacking, where it outperforms recent baselines.

研究の動機と目的

• 手動での報酬形状付けや事前学習を伴わずに、ロボット操作タスクにおける疎な報酬からの学習の課題に対処すること。
• すべてのポリシー層を同時に学習させることで、階層的強化学習における学習の安定性を向上させること。
• 階層の各レベルに時間的に拡張された内発的動機付けを適用することで、階層的エージェントの探索を強化すること。
• スキル選択のための1ホットやカテゴリカル信号以外の代替変調メカニズムを検討すること。
• 複数の学習段階やハイパーパrameterに依存する設計を避ける、スケーラブルでエンドツーエンドで学習可能な階層的強化学習フレームワークの開発すること。

提案手法

• MPH は2段階の階層構造を採用する：マスターポリシーがビットベクトル変調信号を生成し、ワーカーポリシーがこれらの信号に基づいて行動を実行する。
• ビットベクトル変調により、スキル間の滑らかな補間が可能になり、1つのスキルに限定するのではなく、複数のスキルを動的にブレンドできる。
• すべてのポリシー層は、逐次的なポリシー更新によって安定した学習を促進するProximal Policy Optimization (PPO) を用いて同時に学習される。
• 動的モデルの予測誤差を用いて、マスターおよびワーカーの両レベルで内発的動機付けが適用され、時間的に拡張された探索を促進する。
• 事前学習や別々の学習段階を回避することで、疎な報酬からエンドツーエンドで学習が可能になる。
• マスターポリシーはワーカーポリシーよりも頻度が低く、異なる時間スケールで動作することで、時間抽象化をサポートする。

実験結果

リサーチクエスチョン

• RQ1 階層的強化学習エージェントは、事前学習や手動での報酬形状付けを伴わず、疎な報酬から学習できるか？
• RQ2 ビットベクトル変調は、1ホットやカテゴリカル変調よりも階層的ポリシー学習において優れているか？
• RQ3 階層のすべてのレベルに内発的動機付けを適用することで、探索性と最終的な性能が向上するか？
• RQ4 すべてのポリシー層を同時に学習させることで、交互に学習するアプローチと比較して安定的かつ効果的か？
• RQ5 時間抽象化と内発的動機付けの使用が、ロボット操作タスクにおけるサンプル効率と成功確率にどのように影響するか？

主な発見

• MPH は FetchPush-v1 環境で 71% の成功率を達成し、次に良いベースライン（MLSH）を 26 パcentage ポイント上回った。
• 疎なブロック積み上げタスクでは、最良のランダムシードで MPH は 99% の成功率に達し、他の手法を大きく上回った。
• アブレーションスタディの結果、マスターおよびワーカーポリシーの両方に内発的動機付けを適用した場合が最高の性能を示し、積み上げタスクで成功率が 20% 向上、プッシュタスクで 14% 向上した。
• ビットベクトル変調は 1ホット変調よりも優れたスキルブレンドを可能にし、性能の向上とより柔軟なポリシー行動を実現した。
• PPO を用いてすべてのポリシー層を同時に学習させることで、複数の学習段階や事前学習の必要性がなくなり、実装が簡素化され、安定性が向上した。
• MPH のマスターポリシーは時間スケール 4 を使用し、オプションフレームワークと同様の間隔で変調信号が変化したが、マルチビット変調のおかげでより高いスキル容量を有していた。