[論文レビュー] Learning Multi-Level Hierarchies with Hindsight

Andrew Levy, George Konidaris+2 more|arXiv (Cornell University)|Dec 4, 2017

Reinforcement Learning in Robotics被引用数 75

ひとこと要約

この論文は Hierarchical Actor-Critic (HAC) を紹介します。階層的強化学習フレームワークで、非定常性と sparse rewards を克服するために hindsight action/goal transitions を用いて並列に複数レベルのポリシーを学習させ、連続状態/行動空間での効率的な学習を実現します。

ABSTRACT

Hierarchical agents have the potential to solve sequential decision making tasks with greater sample efficiency than their non-hierarchical counterparts because hierarchical agents can break down tasks into sets of subtasks that only require short sequences of decisions. In order to realize this potential of faster learning, hierarchical agents need to be able to learn their multiple levels of policies in parallel so these simpler subproblems can be solved simultaneously. Yet, learning multiple levels of policies in parallel is hard because it is inherently unstable: changes in a policy at one level of the hierarchy may cause changes in the transition and reward functions at higher levels in the hierarchy, making it difficult to jointly learn multiple levels of policies. In this paper, we introduce a new Hierarchical Reinforcement Learning (HRL) framework, Hierarchical Actor-Critic (HAC), that can overcome the instability issues that arise when agents try to jointly learn multiple levels of policies. The main idea behind HAC is to train each level of the hierarchy independently of the lower levels by training each level as if the lower level policies are already optimal. We demonstrate experimentally in both grid world and simulated robotics domains that our approach can significantly accelerate learning relative to other non-hierarchical and hierarchical methods. Indeed, our framework is the first to successfully learn 3-level hierarchies in parallel in tasks with continuous state and action spaces.

研究の動機と目的

• シーケンシャル意思決定タスクで学習を加速するための階層性の利用を動機づける。
• 非定常な遷移にもかかわらず、複数レベルのポリシーを並列に学習する枠組みを開発する。
• スパース報酬を伴う安定的な並列学習を実現するためのメカニズム（hindsight action/goal transitions および subgoal testing）を提案する。
• グリッドワールドと連続ロボティクス領域において2段階および3段階の階層性へと拡張性を示す。

提案手法

• Hierarchical Actor-Critic (HAC) を提案し、単一の UMDP を各階層レベルに対して複数のネストされた UMDP に変換する。
• 各レベルが下位レベルのサブゴールを出力し、最終的には最下位レベルで primitive actions を出力する goal-conditioned ポリシーを使用する。
• 上位レベルの遷移が下位レベルのポリシー階層全体に依存するネスト型遷移関数を採用する。
• 学習を安定化させるために、hindsight action transitions を導入して最適な下位レベルの階層をシミュレーションする。
• s hindsight goal transitions を導入して Hindsight Experience Replay を階層的設定に拡張し、 sparse rewards に対応する。
• subgoal testing transitions を追加して subgoals が現在の下位レベルのポリシーで達成可能であることを確認し、学習信号のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 HAC は離散・連続の両方のドメインで複数レベルのポリシーを並列に学習できるか？
• RQ2 3レベルの階層を並列に訓練できるか、またそれが2レベルおよびフラットなベースラインとどう異なるか？
• RQ3 hindsight action/goal transitions および subgoal testing transitions は非定常性を緩和し学習効率を改善するか？
• RQ4 連続ロボティクスのタスクにおける HAC の HIRO との比較はどうか？

主な発見

• HAC は離散および連続タスク全般でフラットなエージェントを大きく上回った。
• 並列に学習した3レベル階層は、2レベル階層を上回り、さらにフラット学習を上回った。
• 実験の3つのシミュレートロボティクスタスクで HIRO より HAC が優れていた。
• hindsight action および goal transitions と subgoal testing は安定的な並列学習を可能にし、非定常遷移による問題を緩和する。