[論文レビュー] Hierarchical Reinforcement Learning for Zero-shot Generalization with Subtask Dependencies

Sungryull Sohn, Junhyuk Oh+1 more|arXiv (Cornell University)|Jul 19, 2018

Domain Adaptation and Few-Shot Learning被引用数 30

ひとこと要約

本稿では、依存関係と報酬によって定義される未観測のサブタスクグラフを持つ環境におけるゼロショット一般化を目的として、Neural Subtask Graph Solver (NSGS) と呼ばれる階層的強化学習フレームワークを提案する。微分可能グラフ報酬伝播方策による事前学習と、アクター・クリティックによるファインチューニングにより、NSGSは長期的なサブタスク依存関係を推論でき、MCTSを上回る効率性を発揮しながら、未観測の2次元視覚ドメインにおいてほぼ最適なパフォーマンスを達成する。

ABSTRACT

We introduce a new RL problem where the agent is required to generalize to a previously-unseen environment characterized by a subtask graph which describes a set of subtasks and their dependencies. Unlike existing hierarchical multitask RL approaches that explicitly describe what the agent should do at a high level, our problem only describes properties of subtasks and relationships among them, which requires the agent to perform complex reasoning to find the optimal subtask to execute. To solve this problem, we propose a neural subtask graph solver (NSGS) which encodes the subtask graph using a recursive neural network embedding. To overcome the difficulty of training, we propose a novel non-parametric gradient-based policy, graph reward propagation, to pre-train our NSGS agent and further finetune it through actor-critic method. The experimental results on two 2D visual domains show that our agent can perform complex reasoning to find a near-optimal way of executing the subtask graph and generalize well to the unseen subtask graphs. In addition, we compare our agent with a Monte-Carlo tree search (MCTS) method showing that our method is much more efficient than MCTS, and the performance of NSGS can be further improved by combining it with MCTS.

研究の動機と目的

• 複雑な依存関係を有する未観測のサブタスクグラフを扱う階層的強化学習において、ゼロショット一般化の課題に対処すること。
• タスク記述が高レベルの行動を明示的に指定するのではなく、サブタスクの特性と依存関係のみを指定する新たな強化学習問題を定式化すること。
• 高価な探索やシミュレーションを回避し、動的環境における実用的導入が可能なスケーラブルでリアルタイム対応可能な手法を開発すること。
• 長期的なサブタスク依存関係、実行コスト、観測文脈を考慮することで、エージェントが複雑な推論を暗黙的に行えるようにすること。

提案手法

• サブタスクグラフの埋め込みと依存関係の符号化に、再帰的・逆再帰的ニューラルネットワーク (R3NN) を用いる神経的サブタスクグラフソルバー (NSGS) を提案する。
• サブタスクグラフを介して報酬を微分可能に伝播させる非パrametric勾配ベースの方策であるグラフ報酬伝播 (GRProp) を導入し、NSGSの事前学習を実現する。
• GRPropを用いて、即時の報酬が負であっても長期的な報酬ポテンシャルの高いサブタスクへ向かうように、NSGSを誘導する教師信号を生成する。
• 事前学習済みのNSGSを、特定の観測と環境ダイナミクスに適応させるために、アクター・クリティック強化学習手法を用いてファインチューニングする。
• NSGSとモンテカルロツリー探索 (MCTS) を組み合わせることでパフォーマンスをさらに向上させ、MCTSによる計画を活用しつつも、NSGSの効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、高レベルの監視情報を明示的に与えられない状況において、複雑な依存関係と報酬構造を持つ未観測のサブタスクグラフに一般化できるか？
• RQ2 グラフ報酬伝播は、階層的サブタスク実行方策を学習するための事前学習信号として、どの程度有効であるか？
• RQ3 NSGSは、MCTSのような探索ベースのベースラインと比較して、サンプル効率性と推論速度の両面でどの程度優れているか？
• RQ4 NSGSは、誘導要因、遅延報酬、または将来の進行を妨げる負のサブタスクを有するサブタスクグラフを、どの程度うまく処理できるか？

主な発見

• NSGSは、プレイグラウンドドメインで平均パフォーマンス0.820、マインイングドメインで0.785を達成し、ランダム法やベースライン手法を著しく上回った。
• 事前学習なしで訓練を開始したNSGSスクラッチエージェントは、平均パフォーマンスがたった0.046にとどまり、GRPropによる事前学習が学習に不可欠であることが示された。
• NSGSは、誘導要因や遅延報酬を有するグラフにおいて、グリーディベースラインやGRPropを上回り、長期的影響を推論できる能力のおかげで、特に複雑な依存関係に対処できる。
• NSGSはMCTSよりも計算的に効率的であり、リアルタイム導入に適した推論時間を持つ一方で、ほぼ最適なパフォーマンスを達成した。
• NSGSとMCTSを組み合わせることでパフォーマンスがさらに向上し、NSGSが探索効率を高める強力な方策事前分布を提供することが示された。