[論文レビュー] Learning Affordance Landscapes for Interaction Exploration in 3D Environments

Tushar Nagarajan, Kristen Grauman|arXiv (Cornell University)|Aug 20, 2020

Human Pose and Action Recognition被引用数 28

ひとこと要約

本論文は、インタラクティブな探索を通じて3次元環境を自律的に探索し、オブジェクトの機能的特性（アフォーダンス）を発見するための強化学習フレームワークを提案する。探索方策とオンラインで学習されたアフォーダンスセグメンテーションモデルを組み合わせることで、エージェントは操作可能なオブジェクトと行動を学習し、稀な報酬と教師なしの設定下でも、下流タスクの性能を顕著に向上させる。

ABSTRACT

Embodied agents operating in human spaces must be able to master how their environment works: what objects can the agent use, and how can it use them? We introduce a reinforcement learning approach for exploration for interaction, whereby an embodied agent autonomously discovers the affordance landscape of a new unmapped 3D environment (such as an unfamiliar kitchen). Given an egocentric RGB-D camera and a high-level action space, the agent is rewarded for maximizing successful interactions while simultaneously training an image-based affordance segmentation model. The former yields a policy for acting efficiently in new environments to prepare for downstream interaction tasks, while the latter yields a convolutional neural network that maps image regions to the likelihood they permit each action, densifying the rewards for exploration. We demonstrate our idea with AI2-iTHOR. The results show agents can learn how to use new home environments intelligently and that it prepares them to rapidly address various downstream tasks like "find a knife and put it in the drawer." Project page: http://vision.cs.utexas.edu/projects/interaction-exploration/

研究の動機と目的

• 未知のマップのない3次元環境において、オブジェクトや行動の知識が事前になくても、エージェントが自律的にその環境のアフォーダンスのランドスケープを発見できるようにすること。
• エージェントがインタラクション探索を通じて事前学習することで、稀な報酬と複雑な複数ステップの相互作用タスクに直面するエムベデッドAIの課題に対処すること。
• 探索方策とアフォーダンスセグメンテーションモデルが共に進化する共同学習フレームワークを構築し、データの利用効率と一般化性能を向上させること。
• 相互作用に基づく探索が、下流の相互作用タスクの準備において、ナビゲーションのみの探索に比べて優れていることを実証すること。

提案手法

• エージェントは自己中心のRGB-Dカメラと、ナビゲーション（例：回転、移動）および操作行動（例：開く、トグル、持ち上げる）を含む高レベルの行動空間を使用する。
• 成功した相互作用に基づいて得られる密度の高い報酬信号を用いて、深層強化学習エージェントを学習させ、すべてのオブジェクトと行動の迅速な発見を促進する。
• 部分的に観測された相互作用データを用いて、各画像領域における行動成功の確率を予測するオンラインアフォーダンスセグメンテーションモデルを学習する。
• 探索方策とアフォーダンスモデルを共同で最適化し、アフォーダンスモデルが密度の高い監視信号を提供することで、探索の効率が向上する。
• 本手法は、複雑なオブジェクト相互作用を含むリアルな3次元住宅環境での性能評価のため、AI2-iTHORシミュレータを活用する。
• 下流タスクは、プレトレーニング済みの探索方策を事前知識として用い、Proximal Policy Optimization (PPO) を用いて稀な報酬で微調整する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、自己教師学習による探索を通じて、未確認の3次元環境において、すべての操作可能なオブジェクトと有効な行動を自律的に発見できるか？
• RQ2 相互作用に基づく探索は、ナビゲーションのみの探索と比較して、カバレッジ、相互作用の発見、下流タスクの性能においてどのように異なるか？
• RQ3 相互作用データから学習されたアフォーダンスセグメンテーションモデルは、複雑な複数ステップの相互作用タスクにおける方策学習をどの程度向上できるか？
• RQ4 相互作用探索の事前学習により、稀な報酬の下流タスクで高い成功確率に到達するためのエピソード数がどれほど削減できるか？

主な発見

• 提案されたIntExpエージェントは、最良のベースラインに比べて1.33倍多くの相互作用を発見し、その性能を達成するのに42%少ないタイムステップ数を要する。
• Retrieve、Store、Wash、Heatなどの下流タスクにおいて、IntExpエージェントはCuriosity や Novelty などのベースラインに比べて、最大16%高い成功確率を達成する。
• IntExpエージェントは、たった500,000フレームの微調整で、複数ステップのタスク（例：Retrieveで27.25%、Storeで27.00%）においても高い成功確率に到達し、好奇心やオブジェクトカバレッジに依存する手法を上回る。
• 相互作用データから学習されたアフォーダンスモデルは、行動予測（例：開く、トグル）において、平均平均精度（mAP）26.5を達成し、ランダム法やベースライン手法を顕著に上回る。
• 本手法により、人間の教師データの必要性が減少し、エージェントが自己生成された相互作用データから効果的な相互作用方策を学習できるようになる。
• アフォーダンス予測の失敗事例（例：カーテン、フライパン）は、ノイズが多く不完全な相互作用データに起因しており、トレーニングにおけるデータ品質の向上が求められることを示唆している。