[論文レビュー] Hierarchical Reinforcement Learning with Hindsight

Andrew Levy, Robert W. Platt+1 more|arXiv (Cornell University)|May 21, 2018

Reinforcement Learning in Robotics参考文献 16被引用数 42

ひとこと要約

この論文は、普遍的な価値関数とハインサイト学習を組み合わせることで、複数の抽象レベルで時間的に拡張された行動を学習し、時間スケール間の並列学習を可能にし、離散・連続タスクのサンプル効率を向上させる方法を提案します。

ABSTRACT

Reinforcement Learning (RL) algorithms can suffer from poor sample efficiency when rewards are delayed and sparse. We introduce a solution that enables agents to learn temporally extended actions at multiple levels of abstraction in a sample efficient and automated fashion. Our approach combines universal value functions and hindsight learning, allowing agents to learn policies belonging to different time scales in parallel. We show that our method significantly accelerates learning in a variety of discrete and continuous tasks.

研究の動機と目的

• 遅延・スパース報酬を伴うRLのサンプル非効率性に対処する。
• 複数の抽象レベルで時間的に拡張された行動の学習を可能にする。
• 同時に異なる時間スケールでポリシーを学習する方法を開発する。
• 普遍的な価値関数とハインサイト学習を統合してマルチタイムスケール学習を促進する。

提案手法

• 普遍的な価値関数を用いて、異なるゴールと時間スケール全体の価値を表現する。
• 過去の経験を代替のゴールで再フレーミングするハインサイト学習を取り入れ、より豊かな学習信号を得る。
• 単一の枠組みの中で複数の時間的 horizons にわたるポリシーの並列学習を可能にする。
• 抽象レベルが異なる行動を学習する階層構造を活用し、サンプル効率的に学習する。
• 離散・連続制御タスクの双方に適用して一般性を示す。

実験結果

リサーチクエスチョン

• RQ1 universal value functions combined with hindsight learning support learning of temporally extended actions across multiple time scales?
• RQ2 Does the proposed hierarchical approach improve sample efficiency compared to flat RL baselines in both discrete and continuous tasks?
• RQ3 Can policies at different temporal horizons be learned in parallel without interference?
• RQ4 How does hindsight-based relabeling influence learning speed and policy quality across hierarchical levels?
• RQ5 What are the practical benefits and limitations of automating multitimescale learning in RL?

主な発見

• The method accelerates learning in a variety of discrete tasks.
• The method accelerates learning in a variety of continuous tasks.
• Learning occurs across multiple time scales in parallel, improving sample efficiency.