[論文レビュー] Following Instructions by Imagining and Reaching Visual Goals

John Kanu, Eadom Dessalene+3 more|arXiv (Cornell University)|Jan 25, 2020

Visual Attention and Saliency Detection参考文献 23被引用数 5

ひとこと要約

本論文では、生のピクセル入力から段階的に想像し、到達する視覚的ゴールを用いて自然言語指示に従うエージェントを可能にする階層的強化学習フレームワークである、想像的ゴールを伴う指示従い（IFIG）を提案する。言語的・知覚的知識を事前に持たない状態で、IFIGは構造的な潜在表現を学習し、内的動機付けを用いて指示に依存する視覚的ゴールを生成する。シミュレーション上のオブジェクト配置タスクにおいて、真値状態の監視を受けるモデルを上回る性能を発揮した。

ABSTRACT

While traditional methods for instruction-following typically assume prior linguistic and perceptual knowledge, many recent works in reinforcement learning (RL) have proposed learning policies end-to-end, typically by training neural networks to map joint representations of observations and instructions directly to actions. In this work, we present a novel framework for learning to perform temporally extended tasks using spatial reasoning in the RL framework, by sequentially imagining visual goals and choosing appropriate actions to fulfill imagined goals. Our framework operates on raw pixel images, assumes no prior linguistic or perceptual knowledge, and learns via intrinsic motivation and a single extrinsic reward signal measuring task completion. We validate our method in two environments with a robot arm in a simulated interactive 3D environment. Our method outperforms two flat architectures with raw-pixel and ground-truth states, and a hierarchical architecture with ground-truth states on object arrangement tasks.

研究の動機と目的

• 事前に言語的または知覚的知識に依存しない物理的環境における指示従いのためのフレームワークを開発すること。
• 視覚的環境において、時間的に延長された長大な言語指示を空間的推論を用いて根拠づける課題に取り組むこと。
• 自己教師ありの視覚的ゴールの想像とゴール到達ポリシーを用いて、複雑な操作タスクを学習できるようにすること。
• 視覚ベースの強化学習におけるサンプル効率性と一般化性能を向上させるために、視覚的根拠づけとスキル習得を分離すること。

提案手法

• フレームワークは、生のピクセル画像の構造的な潜在表現を学習するための変分オートエンコーダ（VAE）を用い、自己教師ありの状態表現学習を可能にする。
• ゴール生成モジュールは、潜在状態を変換することで、指示に依存する視覚的ゴール状態を生成し、タスク指向の空間的推論を可能にする。
• 任意の状態間を移動するためのゴール条件付き強化学習の目的関数を用いて、潜在空間上でゴール到達ポリシーを訓練する。
• 探索とゴールの想像を促進するため、内部動機付けを採用し、タスク完了のための外的報酬信号は1つだけを用いる。
• 階層的強化学習を採用し、メタコントローラがゴールを発行し、コントローラが行動を実行する。両者とも潜在表現上で動作する。
• 訓練はSAC（ソフトアクタクリティック）を用いてエンドツーエンドで実施され、潜在空間の次元は6に設定され、エンドエフェクタおよびオブジェクトの位置の6次元状態要因を捉える。

実験結果

リサーチクエスチョン

• RQ1 生のピクセルから視覚的ゴールを想像することで、言語的・知覚的知識を事前に持たないエージェントが自然言語指示に従うことができるか？
• RQ2 視覚的ゴールの想像は、視覚ベースの強化学習における複雑で時間的に延長されたタスクの分解にどの程度効果的か？
• RQ3 潜在空間上でゴールを生成し到達する能力を学習することで、真値状態の監視を受けるフラットポリシーや階層モデルに比べ、性能が向上するか？
• RQ4 自己教師ありの潜在表現は、オブジェクト操作タスクにおける意味的な部分ゴールモダリティとしてどの程度有効か？

主な発見

• 単一オブジェクト環境では、パラメータ数が97%しかなく、IFIGはピクセルベースのフラットポリシーの2.47倍高い成功確率を達成した。
• 複数オブジェクト環境では、IFIGはピクセルベースのフラットベースラインを3.41倍の成功確率で上回り、優れた一般化性能とサンプル効率性を示した。
• 単一オブジェクト設定では、IFIGは真値フラットベースラインを2.50倍の成功確率で上回った。これは、想像された視覚的ゴールが真値状態へのアクセスよりも効果的である可能性を示している。
• 複数オブジェクト設定では、IFIGは真値階層モデルの1.65倍の成功確率を達成し、潜在空間上の視覚的構造が強力な部分ゴールモダリティであることを示した。
• 想像されたゴールシーケンスの可視化から、エージェントが指示を論理的な部分ゴールの配置に正しく分解していることがわかった。例えば、オブジェクト同士の相対的配置を変更するタスクを適切に処理していた。
• IFIGのコントローラは、真値階層コントローラの最終誤差性能の90%を達成しており、真値状態へのアクセスなしにもかかわらず、強力な低レベルスキル習得がなされていることが示された。