[论文解读] Alexa Arena: A User-Centric Interactive Platform for Embodied AI

Qiaozi Gao, Govind Thattai+25 more|arXiv (Cornell University)|Mar 2, 2023

Social Robot Interaction and HRIPsychology被引用 3

一句话总结

Alexa Arena 是一个以用户为中心、具备游戏化特性的模拟平台，专为具身智能（Embodied AI）设计，通过包含多种状态变化的多房间交互环境，实现可扩展的人机交互（HRI）数据收集与评估。该平台引入了一个对话引导的任务完成基准，包含3,000个独特任务和46,000条标注指令，其基线性能凸显了视觉定位、语言模糊性和路径规划等方面的挑战。

ABSTRACT

We introduce Alexa Arena, a user-centric simulation platform for Embodied AI (EAI) research. Alexa Arena provides a variety of multi-room layouts and interactable objects, for the creation of human-robot interaction (HRI) missions. With user-friendly graphics and control mechanisms, Alexa Arena supports the development of gamified robotic tasks readily accessible to general human users, thus opening a new venue for high-efficiency HRI data collection and EAI system evaluation. Along with the platform, we introduce a dialog-enabled instruction-following benchmark and provide baseline results for it. We make Alexa Arena publicly available to facilitate research in building generalizable and assistive embodied agents.

研究动机与目标

• 通过引入游戏化机制提升用户参与度，解决现有具身智能平台在收集可扩展、高质量人机交互（HRI）数据方面存在的局限性。
• 通过设计具有组合性、因果关联的状态变化及多条解决路径的任务，推动通用化、辅助型具身智能体的开发。
• 通过提供具备丰富视觉与语言输入的逼真交互仿真环境，支持多模态智能体的端到端训练与评估。
• 提供一个对话引导的任务完成基准，以捕捉在自然语言指令下的复杂推理、程序性规划与视觉定位能力。
• 通过基于网页的用户界面支持实时人机交互，用于评估智能体在动态、用户驱动场景下的行为表现。

提出的方法

• 设计一个包含10个多人房间布局和335种以上可交互物体类型的3D仿真环境，其中包含幻想类物体（如冷冻射线、时间机器）以支持多样化的状态转换。
• 实现类游戏界面，包含视觉反馈、得分系统、成就系统以及任务引导的UI元素，以增强用户参与度与互动性。
• 创建一个对话引导的任务完成基准，包含3,000个独特任务，每个任务均包含专家示范、人工标注的语言指令及对话轮次。
• 开发基于网页的用户界面，实现人类用户与具身智能体之间的实时交互，支持对话与动作策略的实时评估。
• 训练端到端的多模态模型（神经符号模型与视觉-语言模型），联合编码语言与视觉观测结果，以预测动作与物体掩码。
• 引入掩码区域预测头，以独立评估视觉定位性能，并通过消融实验将物体检测与动作规划任务分离。

实验结果

研究问题

• RQ1 在仿真平台中引入游戏化机制是否能显著提升人机交互（HRI）数据收集的可扩展性与质量？
• RQ2 多模态模型在复杂、视觉杂乱的环境中，对多个物体实例共存的场景下，能否有效将自然语言指令定位到特定物体？
• RQ3 端到端对话引导任务完成的主要失败模式是什么，特别是在路径规划、语言模糊性和视觉感知方面？
• RQ4 当模型仅依赖视觉线索而缺乏语言上下文时，视觉定位性能会下降到何种程度？
• RQ5 具备丰富状态转换与交互物体的以用户为中心的仿真平台，是否能促进具身智能体实现更具泛化性与组合性的推理能力？

主要发现

• 当使用真实动作时，基线端到端模型在掩码区域预测任务上的成功率达到71.89%，表明在端到端学习下视觉定位仍面临显著挑战。
• 语言模糊性是主要问题之一：例如，当存在多个书桌时，指令如“桌子就在你正前方，显示器在上面”会因实例间无法有效区分而失败。
• 当智能体偏离正确路径时，常陷入无限循环，错误地尝试执行后续指令，凸显了对错误恢复与回溯机制的迫切需求。
• 模型常更关注附近的视觉刺激（如柜门或咖啡壶）而非语言线索，导致错误行为，例如在被指令前往激光炮时却打开了柜子。
• 包含多步骤的长距离指令（如“向右转，前往休息室，加热碗并将其放在桌上”）常被误解，表明模型在建模序列性、多步推理方面存在局限。
• 小型或外观相似的物体（如激光炮与冷冻射线）常被错误识别，凸显了在细粒度视觉与语言理解方面仍存在的持久挑战。