[論文レビュー] Autonomous Extracting a Hierarchical Structure of Tasks in Reinforcement Learning and Multi-task Reinforcement Learning

Behzad Ghazanfari, Matthew E. Taylor|arXiv (Cornell University)|Sep 14, 2017

Reinforcement Learning in Robotics参考文献 16被引用数 13

ひとこと要約

本論文は、強化学習（RL）およびマルチタスクRLにおいて、エージェントのトラジェクトリに関連ルールマイニング（ARM）を適用することで、環境のダイナミクスや分解可能MDP構造の事前知識が不要な状態で、階層的タスク構造を自律的に抽出する新規手法ARM-HSTRLを提案する。頻繁に訪問される部分的目標（sub-goals）とその順序的関係を特定することで、学習効率を著しく向上させるとともに、異なる遷移関数および報酬関数を持つ多様なタスク間で頑健な知識転送を可能にする。

ABSTRACT

Reinforcement learning (RL), while often powerful, can suffer from slow learning speeds, particularly in high dimensional spaces. The autonomous decomposition of tasks and use of hierarchical methods hold the potential to significantly speed up learning in such domains. This paper proposes a novel practical method that can autonomously decompose tasks, by leveraging association rule mining, which discovers hidden relationship among entities in data mining. We introduce a novel method called ARM-HSTRL (Association Rule Mining to extract Hierarchical Structure of Tasks in Reinforcement Learning). It extracts temporal and structural relationships of sub-goals in RL, and multi-task RL. In particular,it finds sub-goals and relationship among them. It is shown the significant efficiency and performance of the proposed method in two main topics of RL.

研究の動機と目的

• 次元の呪いに起因する高次元強化学習環境における学習の遅さという課題に対処すること。
• エキスパートが提供する階層構造がなくても、意味のある部分的目標とその構造的関係へのタスクの自律的分解を可能にすること。
• 原始的なトラジェクトリからタスク固有の階層的構造を発見することで、マルチタスク強化学習（MTRL）におけるサンプル効率と知識転送を向上させること。
• アクションモデルや分解可能MDP仮定、トラジェクトリの事前処理を必要としない実用的でスケーラブルな手法の開発。
• ARMを用いて抽出された階層的構造が、複雑なRL設定において標準的なQ学習よりも収束が速く、性能が優れていることを実証すること。

提案手法

• 本手法は、RL学習中に収集した状態のトラジェクトリに関連ルールマイニング（ARM）を適用し、頻繁に出現する状態の系列を同定する。
• ARMの「頻繁なアイテムセット生成」フェーズを用いて、成功したトラジェクトリに頻繁に現れる状態として部分的目標を特定する。
• 「ルール生成」フェーズにより、部分的目標間の順序的関係を抽出し、形式 'もし部分的目標A、ならば部分的目標B' の含意ルールとして表現する。
• これらの関連ルールを組み合わせて、部分的目標とその依存関係を木構造的な階層に統合することで、タスクの階層的構造を構築する。
• 本手法は単一タスクRLおよびマルチタスクRLの両方の設定に適用可能であり、タスク間の構造的類似性に基づいて部分的なポリシー共有を可能にする。
• 本手法は、環境の遷移関数や報酬関数の事前知識を必要とせず、分解可能MDP表現やトラジェクトリのクリーニングにも依存しない。

実験結果

リサーチクエスチョン

• RQ1 関連ルールマイニングは、原始的なRLトラジェクトリから部分的目標とその順序的関係を効果的に発見するために有効に利用できるか？
• RQ2 抽出された階層的構造は、強化学習において学習速度とサンプル効率を著しく向上させることができるか？
• RQ3 異なる遷移関数および報酬関数を持つマルチタスクRL設定において、本手法はどのように性能を発揮するか？
• RQ4 本手法は、タスク間の構造的差異を自律的に同定・処理し、効果的な知識転送を可能にするか？
• RQ5 ARMから導出された階層的構造は、転移学習における価値関数共有よりも頑健で汎用性が高いと評価できるか？

主な発見

• ARM-HSTRLは、複数の実験において標準的なQ学習よりも学習速度が著しく速く、ゴールに到達するまでのステップ数を削減した。
• 単一タスクRLでは、図7～10に示すように、Q学習に比べて収束が速く、累積報酬も高い水準を達成した。
• マルチタスクRLでは、異なる遷移関数および報酬関数を持つ複数のタスクを学習し、区別することができたが、Q学習は同様の条件下で収束しなかった。
• 実験3の第2テストベッド（図6）において、本手法は頑健な性能を示した。各タスクに異なるダイナミクスが存在する状況でも、安定した学習進捗と報酬蓄積が維持された（図11～12）。
• ARMによって抽出された階層的構造は、タスク固有のポリシー学習を効果的に行い、構造的類似性に基づく動的結合・分離を可能にし、転送性を向上させた。
• 理論的および実験的に、本手法が階層的最適ポリシーに到達することを示し、特にソースドメインとターゲットドメインのダイナミクスが異なる場合、価値関数転送よりも頑健であることが確認された。