[论文解读] AI2-THOR: An Interactive 3D Environment for Visual AI

Eric Kolve, Roozbeh Mottaghi+11 more|arXiv (Cornell University)|Dec 14, 2017

Multimodal Machine Learning Applications参考文献 26被引用 327

一句话总结

AI2-THOR 是一个大规模、近乎照片级真实的三维室内仿真平台，能够通过交互代理、多场景数据集、多样化行动和丰富元数据来训练和评估视觉与行动模型。

ABSTRACT

We introduce The House Of inteRactions (THOR), a framework for visual AI research, available at http://ai2thor.allenai.org. AI2-THOR consists of near photo-realistic 3D indoor scenes, where AI agents can navigate in the scenes and interact with objects to perform tasks. AI2-THOR enables research in many different domains including but not limited to deep reinforcement learning, imitation learning, learning by interaction, planning, visual question answering, unsupervised representation learning, object detection and segmentation, and learning models of cognition. The goal of AI2-THOR is to facilitate building visually intelligent models and push the research forward in this domain.

研究动机与目标

• 通过使能够与真实的三维环境互动，推动视觉AI研究超越静态图像。
• 提供近照片级真实感的场景、多样化代理和丰富的行动空间，以训练和评估具身AI模型。
• 提供可扩展、快速、成本效益高的仿真，作为现实世界实验的代理，以提升泛化能力。

提出的方法

• 描述 AI2-THOR 框架及其基于 Unity 的三维场景和用于代理控制的 Python API。
• 解释场景数据集（iTHOR、RoboTHOR、ProcTHOR、ArchitecTHOR）及过程生成在泛化中的作用。
• 详细介绍代理实体（ManipulaTHOR、StretchRE1、LoCoBot、Abstract、Drone）及其交互能力。
• 将动作分类为导航、交互、环境查询和环境状态变化。
• 概述图像模态（RGB、Depth、语义/实例分割、法线）以及对象数据库内容（3,578 个互动对象）。
• 介绍元数据的提供及其在奖励设计、模仿学习和评估数据集中的作用。

实验结果

研究问题

• RQ1 相比静态数据集，如何通过丰富、可交互的三维环境加速具身AI的学习与泛化？
• RQ2 哪些场景、代理、动作和模态的组合能够为视觉AI任务提供可扩展、可迁移的训练？
• RQ3 过程生成环境（ProcTHOR）在具身任务中在多大程度上提升对现实世界类场景（ArchitecTHOR、RoboTHOR）的泛化？
• RQ4 与其他仿真器相比，AI2-THOR 在规模、能力和效率方面的性能如何？

主要发现

• AI2-THOR 支持广泛的交互（状态变化、臂部操控、因果交互）并且可扩展到大量场景和对象。
• 过程生成（ProcTHOR-10K）实现大规模训练，在零-shot 设置下提升 RoboTHOR、iTHOR 和 ArchitecTHOR 的泛化。
• 一个全面的代理生态系统（ManipulaTHOR、StretchRE1、LoCoBot、Abstract、Drone）支持从低层次操作到导航和抽象化动作的一系列嵌入。
• 丰富的图像模态（RGB、depth、语义/实例分割、法线）和环境元数据提升了模仿学习与强化学习的训练信号及奖励设计。
• AI2-THOR 已在超过150篇论文中使用，并支持快速、可扩展的训练，其性能基准与其他仿真器相竞争（附录 B 讨论性能分析与并行化）。
• 包括视觉导航、音视频任务、视觉与语言、仿真到现实、多代理协作、可用性、场景合成和可解释表示等多种研究领域都能从 AI2-THOR 中受益。