[论文解读] REVERIE: Remote Embodied Visual Referring Expression in Real Indoor Environments

Yuankai Qi, Qi Wu+5 more|arXiv (Cornell University)|Apr 23, 2019

Multimodal Machine Learning Applications参考文献 46被引用 14

一句话总结

本文提出了 REVERIE，一个用于真实室内环境中远程具身视觉指代表达的新基准，其中智能体需根据自然语言指令导航至目标物体，并在三维场景中实现精准定位。所提出的交互式导航-指针模型在测试集上取得了 16.18% 的成功率，显著优于基线模型，但仍远低于人类表现（77.84%），凸显了在未见过的环境中结合导航与指代表达任务的挑战。

ABSTRACT

One of the long-term challenges of robotics is to enable robots to interact with humans in the visual world via natural language, as humans are visual animals that communicate through language. Overcoming this challenge requires the ability to perform a wide variety of complex tasks in response to multifarious instructions from humans. In the hope that it might drive progress towards more flexible and powerful human interactions with robots, we propose a dataset of varied and complex robot tasks, described in natural language, in terms of objects visible in a large set of real images. Given an instruction, success requires navigating through a previously-unseen environment to identify an object. This represents a practical challenge, but one that closely reflects one of the core visual problems in robotics. Several state-of-the-art vision-and-language navigation, and referring-expression models are tested to verify the difficulty of this new task, but none of them show promising results because there are many fundamental differences between our task and previous ones. A novel Interactive Navigator-Pointer model is also proposed that provides a strong baseline on the task. The proposed model especially achieves the best performance on the unseen test split, but still leaves substantial room for improvement compared to the human performance.

研究动机与目标

• 为解决机器人在未见过的室内环境中理解并执行高层自然语言指令的挑战。
• 构建一个评估视觉导航与真实世界三维场景中精确物体定位能力的基准。
• 探究现有视觉-语言模型在复杂、远程且具身化指代任务中应用时的局限性。
• 提出一种新颖的交互式框架，联合优化导航与指代表达，以提升性能。

提出的方法

• REVERIE 数据集基于 Matterport3D 模拟器构建，包含 90 栋建筑中的 10,567 幅全景图，涵盖 4,140 个标注物体。
• 每条指令均指向从起始视角不可见的远程物体，要求智能体导航至新位置以识别目标。
• 提出一种新型的交互式导航-指针模型，其中导航模块与指针模块在推理过程中动态交互，以提升定位准确性。
• 该模型使用交叉注意力机制，使指针能够基于导航轨迹进行条件化，反之亦然，从而实现联合优化。
• 基线模型包括序列到序列模型、最短路径基线，以及当前最先进的导航模型（FAST）与指代表达模型（MAttNet）的组合。
• 评估在可见与未见数据划分上进行，成功度量标准为导航后正确预测目标物体的边界框。

实验结果

研究问题

• RQ1 现有视觉-语言模型能否泛化至未见过的室内环境中远程具身指代表达任务？
• RQ2 与孤立任务相比，视觉导航与指代表达的结合如何影响模型性能？
• RQ3 仅语言输入在多大程度上足以解决 REVERIE 任务，从而反映数据集是否存在偏差？
• RQ4 导航与指代表达模块之间的交互学习对整体成功率有何影响？
• RQ5 当前模型性能与复杂真实世界导航与定位任务中的人类水平表现之间还有多远的距离？

主要发现

• 随机基线仅取得 1% 的成功率，表明该任务具有庞大且复杂的状态空间。
• 最先进的导航与指代表达模型组合在未见测试集上仅取得 7.07% 的成功率，远低于人类的 77.84%。
• 所提出的交互式导航-指针模型在测试集上达到 16.18% 的成功率，较去交互化的消融版本提升了 4.2%。
• 仅指代表达的基线模型在测试集上达到 48.98% 的准确率，仍比人类表现低 41.78%，表明任务本身具有内在难度。
• 仅语言模型的表现较差（例如在可见集上为 16.18%），表明视觉定位至关重要，且数据集并非偏向语言线索。
• 在未见划分上，导航性能相比先前的 R2R 基准下降了 30%，证实了该任务难度的显著提升。