[論文レビュー] Learning Abstract Options

Matthew Riemer, Miao Liu+1 more|arXiv (Cornell University)|Jan 1, 2018

Reinforcement Learning in Robotics被引用数 30

ひとこと要約

本稿では、内在的報酬や部分目標を用いずに、複数の時間分解能にわたる時間的に抽象化されたオプションのエンドツーエンド学習を可能にする、深層階層的オプションクリティックフレームワークを提案する。政策勾配定理を任意の深さのオプション階層に拡張することで、内部方策、終了条件、構成的構造を学習する。離散的および連続的制御環境において、より高いサンプル効率を示している。

ABSTRACT

Building systems that autonomously create temporal abstractions from data is a key challenge in scaling learning and planning in reinforcement learning. One popular approach for addressing this challenge is the options framework (Sutton et al., 1999). However, only recently in (Bacon et al., 2017) was a policy gradient theorem derived for online learning of general purpose options in an end to end fashion. In this work, we extend previous work on this topic that only focuses on learning a two-level hierarchy including options and primitive actions to enable learning simultaneously at multiple resolutions in time. We achieve this by considering an arbitrarily deep hierarchy of options where high level temporally extended options are composed of lower level options with finer resolutions in time. We extend results from (Bacon et al., 2017) and derive policy gradient theorems for a deep hierarchy of options. Our proposed hierarchical option-critic architecture is capable of learning internal policies, termination conditions, and hierarchical compositions over options without the need for any intrinsic rewards or subgoals. Our empirical results in both discrete and continuous environments demonstrate the efficiency of our framework.

研究の動機と目的

• 強化学習のスケーラビリティを向上させるために、複数の時間分解能にわたる時間的抽象化の自律的学習を可能にすること。
• 2段階の階層構造を超えて、任意の深さのオプションの組み合わせをサポートするオプションフレームワークの拡張。
• 深層オプション階層における政策勾配定理の導出により、内部方策および終了条件のエンドツーエンド学習を可能にすること。
• 内在的報酬や手動で指定された部分目標に依存しない、階層的オプションの学習を実現すること。
• 提案されたフレームワークの効率性およびスケーラビリティを、多様な環境において実証すること。

提案手法

• 本稿では、Baconら（2017）の政策勾配定理を深層オプション階層に拡張し、複数の時間的抽象化レベルにわたる勾配ベースの学習を可能にする。
• 階層的オプションクリティックアーキテクチャを導入し、複数のレベルでオプション方策、終了条件、構成的構造を同時に学習する。
• フレームワークは階層の任意の深さをサポートしており、高レベルのオプションは、より細かい時間分解能を持つ低レベルのオプションの組み合わせで構成される。
• エンドツーエンドのアプローチを採用し、すべてのコンポonent（方策、終了条件、構成）を補助的監督や内在的報酬を用いずに同時に学習する。
• アーキテクチャは、勾配を階層的オプション構造全体に伝搬するクレジット割り当て機構を用い、すべてのコンポーネントを同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 内在的報酬や部分目標に依存せず、複数の時間分解能にわたる時間的に拡張されたオプションを階層的オプションクリティックフレームワークが学習できるか？
• RQ2 提案された政策勾配定理は、2段階構造を超える深層オプション階層へどのように一般化されるか？
• RQ3 階層的構成は、複雑な環境におけるサンプル効率および学習パフォーマンスにどのような影響を与えるか？
• RQ4 本フレームワークは、離散的および連続的制御タスクにおける、さまざまな時間的抽象化レベルにどのようにスケーリングされるか？

主な発見

• 提案されたフレームワークは、内在的報酬や部分目標を用いずに、複数の時間分解能にわたる内部方策、終了条件、階層的構成を効果的に学習した。
• 多様な時間的抽象化を活用することで、離散的および連続的制御環境において、より高いサンプル効率を達成した。
• 深層階層構造により、フラットまたは浅いオプション構造と比較して、より効果的なクレジット割り当てと高速な収束が可能になった。
• 実騴結果から、フレームワークが多様な環境に一般化できることを確認し、階層的強化学習における頑健性とスケーラビリティを示した。