[論文レビュー] Zero-Shot Task Generalization with Multi-Task Deep Reinforcement\n Learning

Junhyuk Oh, Satinder Singh+2 more|arXiv (Cornell University)|Jun 15, 2017

Reinforcement Learning in Robotics参考文献 43被引用数 67

ひとこと要約

この論文は、パラメータ化されたスキルと類推ベースの一般化、および、柔軟な時間スケールでサブタスクを更新できるメタコントローラを用いた、見たことのないサブタスクや長い指示列に対するゼロショット一般化を可能にする二段階階層RLアプローチを紹介します。

ABSTRACT

As a step towards developing zero-shot task generalization capabilities in\nreinforcement learning (RL), we introduce a new RL problem where the agent\nshould learn to execute sequences of instructions after learning useful skills\nthat solve subtasks. In this problem, we consider two types of generalizations:\nto previously unseen instructions and to longer sequences of instructions. For\ngeneralization over unseen instructions, we propose a new objective which\nencourages learning correspondences between similar subtasks by making\nanalogies. For generalization over sequential instructions, we present a\nhierarchical architecture where a meta controller learns to use the acquired\nskills for executing the instructions. To deal with delayed reward, we propose\na new neural architecture in the meta controller that learns when to update the\nsubtask, which makes learning more efficient. Experimental results on a\nstochastic 3D domain show that the proposed ideas are crucial for\ngeneralization to longer instructions as well as unseen instructions.\n

研究の動機と目的

• スキル学習の過程でサブタスク間の類推を学習することにより、未見のサブタスクへ一般化するエージェントを開発する。
• 事前に学習したスキルをメタコントローラを介して組み合わせることで、長い指示列に対するゼロショット一般化を可能にする。
• 遅延報酬と中断を扱うため、メタコントローラが柔軟な時間スケールでサブタスクを更新できるようにする。
• 指示リストを実行しつつ、不確かな環境でのサブタスクの中断と再開を可能にする。
• 複数の一般化シナリオに跨る確率的な3D Minecraftベースのドメインで一般化を実証する。

提案手法

• 観測とタスクパラメータを行動と終了信号へマッピングするパラメータ化されたスキルを定義する。
• 未見のパラメータ組み合わせへの一般化を可能にする、サブタスク間の一貫した関係を強制する類推形成目的を導入する。
• アクタークリティック法とオプションのポリシーディストレーションを用いてパラメータ化されたスキルを訓練し、二値の終端状態予測器を含む。
• メタコントローラが指示のリストを読み取り、パラメータ化されたスキルのサブタスクパラメータを選択する2段階のアーキテクチャを構築する。
• 指示リストを進行させるための、メモリベースの指示取得機構と位置ベースのアドレッシング方式を備えたサブタスク更新機構を開発する。
• サブタスク更新機が状態を洗練させるタイミングを支配する学習可能な更新トリガ c_t を導入することで、メタコントローラの大規模時間スケール学習機構を提案し、最適化の安定性のためにソフトアップデートを使用する。
• 指示列全体の文脈と長期依存性を管理するために階層型RNNパラダイムと統合する。

実験結果

リサーチクエスチョン

• RQ1 サブタスク間の類推は、タスクの未見パラメータ化に対するゼロショット一般化を支援しますか？
• RQ2 パラメータ化されたスキルで構成されたメタコントローラは、長さが異なる未見の指示列へどの程度一般化しますか？
• RQ3 サブタスクをいつ更新するか（時間スケール）を学習することは、遅延報酬や中断下で性能を向上させますか？
• RQ4 指示リストに従いながら、進行中のサブタスクの中断と再開をこのアーキテクチャは扱えますか？

主な発見

シナリオ	類推	訓練	未知	独立 - 類推あり（訓練）	独立 - 類推あり（未知）	オブジェクト依存 - 類推あり（訓練）	オブジェクト依存 - 類推あり（未知）	内挿/外挿 - 類推あり（訓練）	内挿/外挿 - 類推あり（未知）
Independent	×	0.3 (99.8%)	-3.7 (34.8%)	✓	0.3 (99.8%)	0.3 (99.5%)	0.3 (99.8%)	-0.7 (97.5%)	-2.2 (24.9%)	-0.7 (97.5%)	-1.7 (94.5%)

• 類推ベースの一般化は、独立・オブジェクト依存・内挿/外挿タスク設定のいずれにおいても実質的な性能向上をもたらす。
• 類推形成を備えたパラメータ化スキルは、未見のタスク構成に一般化し、試験されたシナリオで平均報酬と成功率を高める。
• メタコントローラと時間スケール更新器を備えた階層的アーキテクチャは、指示実行タスクでフラットおよび他の階層ベースのベースラインより優れる。
• サブタスクをいつ更新するかを学習する（Hierarchical-Dynamic）ことで、見た指示集合と未知の指示集合の両方で最高の性能を達成し、Hierarchical-LongおよびHierarchical-Shortのベースラインを上回る。
• モデルは長い指示リストへの頑健な一般化を示し、未知の指示とシーケンスで有意な成功を達成する。