[論文レビュー] Visual Semantic Planning using Deep Successor Representations

Yuke Zhu, Daniel Gordon+6 more|arXiv (Cornell University)|May 23, 2017

Human Pose and Action Recognition参考文献 1被引用数 29

ひとこと要約

本論文では、動的環境における視覚的観測から高レベルの行動シーケンスを学習可能にするために、深層後続表現を用いた視覚的意味的計画フレームワークを提案する。模倣学習と深層後続表現を組み合わせることで、THOR環境における多様なタスクで近似的最適なパフォーマンスを達成し、タスク間の一般化能力と物体・行動・アフォーダンスの強力な視覚的理解を示した。

ABSTRACT

A crucial capability of real-world intelligent agents is their ability to plan a sequence of actions to achieve their goals in the visual world. In this work, we address the problem of visual semantic planning: the task of predicting a sequence of actions from visual observations that transform a dynamic environment from an initial state to a goal state. Doing so entails knowledge about objects and their affordances, as well as actions and their preconditions and effects. We propose learning these through interacting with a visual and dynamic environment. Our proposed solution involves bootstrapping reinforcement learning with imitation learning. To ensure cross task generalization, we develop a deep predictive model based on successor representations. Our experimental results show near optimal results across a wide range of tasks in the challenging THOR environment.

研究の動機と目的

• 動的で現実世界に類似した環境において、視覚入力から行動シーケンスを予測し、目的を達成する視覚的意味的計画の課題に取り組む。
• ナーバスな探索や高次元の視覚状態空間の制限を克服するため、相互作用に基づく学習を活用する。
• 環境ダイナミクスとタスク報酬の再利用可能な表現を学習することで、タスク間一般化を可能にする。
• 能動的相互作用を通じて知覚と行動を統合し、経験から物体のアフォーダンス、行動の事前条件、効果を学習する。
• タスク固有の再トレーニングなしに多様なタスクに一般化可能なスケーラブルなシミュレーションベースのフレームワークを開発する。

提案手法

• 本手法は、環境ダイナミクスとタスク固有の報酬を分離する深層後続表現（SR）モデルを用い、タスク間での転移を可能にする。
• 強化学習におけるサンプル非効率性を軽減するため、探索をブートストラップし、ポリシー学習をガイドする模倣学習を組み合わせる。
• 深層ニューラルネットワークアーキテクチャを用いて、後続状態と報酬を予測し、安定した学習のためのターゲットネットワークを、ダブルDQNスタイルの更新で使用する。
• 類似した行動（例えば、隣接する場所へのナビゲーション、同じ種類の物体のピックアップ）を統合することで、行動空間を抽象化し、複雑さを軽減しながらタスクの意味を保持する。
• 実行前にPDDL形式を用いて行動の事前条件を検証し、環境で実行可能な行動のみを試行する。
• 本フレームワークはTHOR環境で評価され、エージェントは相互作用から学習し、難易度が異なる25の多様なタスクに一般化した。

実験結果

リサーチクエスチョン

• RQ1 高次元的かつ部分的に観測可能な視覚環境において、深層後続表現は効果的な視覚的意味的計画を可能にするか？
• RQ2 模倣学習と後続表現を組み合わせることで、視覚的計画タスクにおけるサンプル効率性と収束性はどの程度向上するか？
• RQ3 以前に解決済みのタスクからの知識は、後続表現フレームワークを用いて、新しい未解決タスクにどの程度転送可能か？
• RQ4 モデルは視覚的相互作用のみから、物体のアフォーダンス、行動の事前条件、効果を学習し、一般化できるか？
• RQ5 提案手法は、シミュレーションにおける複雑で現実世界に類似した多様なタスクにおいて、近似的最適なパフォーマンスを達成するか？

主な発見

• 提案手法は、THOR環境の全25の評価タスク（易、中、難の難易度レベルを含む）で近似的最適なパフォーマンスを達成した。
• 深層後続表現により、タスク間の強力な一般化が実現され、あるタスクで訓練されたポリシーが、新たな未確認のタスクへも効果的に転送された。
• 模倣学習の統合により、純粋な強化学習と比較して収束に必要なエピソード数が著しく削減され、サンプル効率性が向上した。
• 複雑なタスクにおける定性的な行動の観察から、モデルが物体、行動、およびそれらのアフォーダンスの視覚的知識を効果的にエンコードしていることが裏付けられた。
• アブレーションスタディにより、後続表現が転移性能において不可欠であることが確認され、このコンponentを欠如させたベースラインを上回った。
• 本手法は、変動する視覚的観測や、ナビゲーション、操作、目的位置への配置といった複雑な行動シーケンスに対しても、頑健に処理できた。