[論文レビュー] AI2-THOR: An Interactive 3D Environment for Visual AI

Eric Kolve, Roozbeh Mottaghi+11 more|arXiv (Cornell University)|Dec 14, 2017

Multimodal Machine Learning Applications参考文献 26被引用数 327

ひとこと要約

AI2-THOR は，大規模でほぼフォトリアルな3D室内シミュレーションプラットフォームで，インタラクティブなエージェント，複数のシーンデータセット，多様なアクション，そして視覚と行動モデルの訓練と評価のための豊富なメタデータを提供します。

ABSTRACT

We introduce The House Of inteRactions (THOR), a framework for visual AI research, available at http://ai2thor.allenai.org. AI2-THOR consists of near photo-realistic 3D indoor scenes, where AI agents can navigate in the scenes and interact with objects to perform tasks. AI2-THOR enables research in many different domains including but not limited to deep reinforcement learning, imitation learning, learning by interaction, planning, visual question answering, unsupervised representation learning, object detection and segmentation, and learning models of cognition. The goal of AI2-THOR is to facilitate building visually intelligent models and push the research forward in this domain.

研究の動機と目的

• 現実的な3D環境との対話を可能にすることで、静的な画像を超えた視覚AI研究を動機づける。
• 近似フォトリアリスティックなシーン、多様なエージェント、豊かなアクション空間を提供して embodiment AIモデルを訓練・評価する。
• 実世界の実験の代理として、スケーラブルで高速かつ費用対効果の高いシミュレーションを提供し、一般化を向上させる。

提案手法

• AI2-THOR フレームワークを、エージェント制御のための Unity ベースの3Dシーンと Python API で説明。
• シーンデータセット（iTHOR、RoboTHOR、ProcTHOR、ArchitecTHOR）と、一般化のための手続き的生成の役割を説明。
• エージェント embodiment（ManipulaTHOR、StretchRE1、LoCoBot、Abstract、Drone）とそれぞれの相互作用能力を詳述。
• ナビゲーション、インタラクション、環境クエリ、環境状態変化にアクションを分類。
• 画像モダリティ（RGB、Depth、Semantic/Instance Segmentation、Normals）とオブジェクトデータベースの内容（3,578 interactive objects）を Outline。
• メタデータの提供と、それらを報酬設計、模倣学習、評価データセットに活用する。

実験結果

リサーチクエスチョン

• RQ1 リッチで対話的な3D環境は、静的なデータセットと比べて embodiment AI の学習と一般化をどの程度加速できるか？
• RQ2 どのシーン、エージェント、アクション、モダリティの組み合わせが、視覚AIタスクのスケーラブルで転用可能な訓練を生み出すか？
• RQ3 ProcTHOR で手続き的に生成された環境は、RoboTHOR、iTHOR、ArchitecTHOR の現実世界風シーンへの一般化をどの程度改善するか？
• RQ4 シミュレーターとしての AI2-THOR のスケール、機能、効率性は他のシミュレータと比較してどうか？

主な発見

シミュレーター	シーン数	オブジェクト数	オブジェクト状態	アーム操作	マルチエージェント	サウンド	VR	エンジン	インタラクティブエディター
AI2-THOR	∞	3578	✓	✓	✓	✓	✓	Unity	✓
iGibson 2.0	15	1217	✓	✓	✓	✗	✓	PyBullet	∅
Habitat 1.0	1000	–	✗	✗	✗	✓	✗	Habitat	✗
Habitat 2.0	105	92	✓	✓	✗	✗	✗	Habitat	✗
ThreeDWorld	15	200	✗	✓	✗	✓	✓	Unity	✓
SAPIEN	0	2346	✗	✓	✗	✗	✗	SAPIEN/PhysX	✗

• AI2-THOR は、状態変化、アーム操作、因果的相互作用などの広範な相互作用をサポートし、多数のシーンとオブジェクトでスケールする。
• Procedural generation (ProcTHOR-10K) により、RoboTHOR、iTHOR、ArchitecTHOR でゼロショット設定における一般化を向上させる大規模トレーニングを実現。
• 包括的なエージェントエコシステム（ManipulaTHOR、StretchRE1、LoCoBot、Abstract、Drone）は、低レベルの操作からナビゲーション、抽象化されたアクションまでの幅広い埋め込みをサポート。
• 豊富な画像モダリティ（RGB、深度、Semantic/Instance Segmentation、Normals）と環境メタデータは、模倣学習と強化学習のトレーニング信号と報酬設計を強化。
• AI2-THOR は 150件を超える論文で使用され、他のシミュレータに対して競争力のある性能ベンチマークを提供する、迅速でスケーラブルな訓練をサポートしている（Appendix B はプロファイリングと並列化を説明）。
• 視覚ナビゲーション、音声映像タスク、視覚と言語、シムツーリアル、多エージェント協調、アフォーダンス、シーン合成、解釈可能な表現など、さまざまな研究分野が AI2-THOR の恩恵を受けている。