[论文解读] LUMINOUS: Indoor Scene Generation for Embodied AI Challenges

Yizhou Zhao, Kaixiang Lin+5 more|arXiv (Cornell University)|Nov 10, 2021

Human Pose and Action Recognition参考文献 39被引用 4

一句话总结

LUMINOUS 是一个可扩展的框架，通过约束随机场景生成（CSSG）技术，为具身强化智能（EAI）生成高质量、多样化的室内场景，支持具身智能体的大规模训练与评估。其性能可与人工设计的场景相媲美，并揭示了当前最先进EAI模型在有限的真实世界布局上存在过拟合现象，凸显了构建更广泛泛化能力基准的必要性。

ABSTRACT

Learning-based methods for training embodied agents typically require a large number of high-quality scenes that contain realistic layouts and support meaningful interactions. However, current simulators for Embodied AI (EAI) challenges only provide simulated indoor scenes with a limited number of layouts. This paper presents Luminous, the first research framework that employs state-of-the-art indoor scene synthesis algorithms to generate large-scale simulated scenes for Embodied AI challenges. Further, we automatically and quantitatively evaluate the quality of generated indoor scenes via their ability to support complex household tasks. Luminous incorporates a novel scene generation algorithm (Constrained Stochastic Scene Generation (CSSG)), which achieves competitive performance with human-designed scenes. Within Luminous, the EAI task executor, task instruction generation module, and video rendering toolkit can collectively generate a massive multimodal dataset of new scenes for the training and evaluation of Embodied AI agents. Extensive experimental results demonstrate the effectiveness of the data generated by Luminous, enabling the comprehensive assessment of embodied agents on generalization and robustness.

研究动机与目标

• 解决现有仿真器中受限的、人工设计的室内场景多样性所导致的EAI研究瓶颈。
• 开发一个可扩展的自动化框架，生成符合人类常识、自然、功能完整且支持任务的室内场景。
• 利用大规模、多模态轨迹数据，实现对具身智能体泛化能力和鲁棒性的全面评估。
• 提出一种新颖的评估指标——基于规划器的任务成功率，以定量衡量在EAI任务背景下场景的质量。
• 证明当前SOTA EAI模型可能在ALFRED等现有基准的有限布局上存在过拟合现象。

提出的方法

• 提出约束随机场景生成（CSSG）算法，可生成多样化、功能完整的室内场景，同时满足以挑战定义格式（CDF）定义的任务特定空间约束。
• 采用任务执行器自动规划完成EAI任务所需的动作序列。
• 利用任务指令生成模块，为轨迹添加自然语言指令，支持视觉-语言基准任务。
• 集成视频渲染工具包，生成第一人称视角图像帧，支持多模态智能体的训练与评估。
• 利用基于规划器的任务成功率作为自动、定量的指标，评估生成场景的质量。
• 支持与最先进基于学习的场景生成模型兼容，扩展其在EAI中的应用价值。

实验结果

研究问题

• RQ1 学习型场景生成框架能否生成在功能性和自然性方面与人工设计场景相当的EAI室内场景？
• RQ2 当前SOTA EAI模型在原始训练分布之外的未见过的、随机化的场景布局上，其泛化能力在多大程度上得以体现？
• RQ3 在模拟的EAI环境中，任务成功率能否作为评估生成室内场景质量的可靠、自动指标？
• RQ4 提升场景与任务多样性对具身智能体泛化性能有何影响？
• RQ5 像LUMINOUS这样的统一框架能否实现EAI中大规模、自动化生成多模态轨迹，以支持训练与评估？

主要发现

• LUMINOUS 在未见过的+（U+）设置下生成了16个新室内场景和435条轨迹，在已知的+（S+）设置下生成了1405条轨迹，数量超过ALFRED未见集一个数量级以上。
• MOCA、ET和HiTUT在LUMINOUS生成的场景上评估时，成功率显著下降，相较于ALFRED的已知和未见划分，表明其在新布局上的泛化能力较差。
• HiTUT在所有设置中均取得最高成功率，其次为ET，再为MOCA，表明其在不同基准间保持了稳定的相对性能。
• 从S到U+（平均成功率从18.6%降至2.1%）的性能下降表明，ALFRED原始评估可能因布局多样性有限，无法真正检验泛化能力。
• 抓取任务的成功率更高（在U+中最高达42.9%），因为LUMINOUS将物体放置在容器边缘，提高了可抓取性并降低了任务难度。
• 本研究证明，如MOCA和HiTUT等最先进模型在AI2THOR的特定布局上存在过拟合现象，其在LUMINOUS的随机化、未见布局上性能显著下降。