[论文解读] Embodied Question Answering in Photorealistic Environments with Point Cloud Perception

Erik Wijmans, Samyak Datta+7 more|arXiv (Cornell University)|Apr 6, 2019

Multimodal Machine Learning Applications参考文献 39被引用 13

一句话总结

本文提出一个大规模、照片级真实的具身问答（EQA）基准，基于Matterport3D环境构建，并使用3D点云、RGB图像或两者结合来评估导航策略。实验表明，点云在障碍物规避方面提供的信号比RGB更丰富；提出一种新颖的损失加权方案——拐点加权（Inflection Weighting），可提升循环模型在模仿学习中的表现；且发现如仅前进和随机导航等简单基线策略在当前评估设置下表现出乎意料地强劲。

ABSTRACT

To help bridge the gap between internet vision-style problems and the goal of vision for embodied perception we instantiate a large-scale navigation task -- Embodied Question Answering [1] in photo-realistic environments (Matterport 3D). We thoroughly study navigation policies that utilize 3D point clouds, RGB images, or their combination. Our analysis of these models reveals several key findings. We find that two seemingly naive navigation baselines, forward-only and random, are strong navigators and challenging to outperform, due to the specific choice of the evaluation setting presented by [1]. We find a novel loss-weighting scheme we call Inflection Weighting to be important when training recurrent models for navigation with behavior cloning and are able to out perform the baselines with this technique. We find that point clouds provide a richer signal than RGB images for learning obstacle avoidance, motivating the use (and continued study) of 3D deep learning models for embodied navigation.

研究动机与目标

• 通过在Matterport3D环境中创建大规模、照片级真实的导航任务，弥合互联网视觉与具身感知之间的差距。
• 使用3D点云、RGB图像或其融合方式，评估具身问答中的导航策略。
• 探究在类真实世界环境中，3D感知（点云）与2D感知（RGB）的相对优势。
• 分析不同训练策略的有效性，包括采用新型损失加权方案的模仿学习。
• 为当前评估设置下简单基线（如仅前进和随机导航）为何表现强劲提供洞见。

提出的方法

• 作者将具身问答任务扩展至照片级真实的Matterport3D（MP3D）环境，构建了包含83个新环境、共1136个问题的MP3D-EQA数据集。
• 导航策略采用端到端可微模型进行训练，处理原始3D点云、RGB图像或两者，使用基于LSTM的循环架构进行动作预测。
• 提出一种新颖的损失加权方案——拐点加权（Inflection Weighting），用于平衡动作转移（拐点）与连续动作之间的交叉熵损失，以缓解动作序列中的类别不平衡问题。
• 通过专家演示（基于最短路径轨迹）进行模仿学习训练，并在感知模态、记忆机制和目标指定组件方面进行消融研究。
• 评估采用标准指标，包括成功率、SPL和导航路径长度，并报告了多次运行下的90%自 resampling 置信区间。
• 通过Amazon Mechanical Turk收集了物体的颜色标注，以支持“什么颜色...”类问题，从而丰富MP3D中的问答任务。

实验结果

研究问题

• RQ1 在照片级真实环境中，基于3D点云的导航策略与基于RGB图像或其组合的策略相比表现如何？
• RQ2 为何在当前的具身问答评估设置下，看似朴素的基线策略（如仅前进和随机导航）表现强劲？
• RQ3 像拐点加权这样的新型损失加权方案能否提升循环模型在模仿学习导航中的训练稳定性和性能？
• RQ4 点云在多大程度上为具身导航提供了比RGB图像更丰富的几何信息和障碍物感知信号？
• RQ5 不同感知模态（点云、RGB、融合）如何与端到端训练智能体中的记忆机制和语言定位相互作用？

主要发现

• 仅前进（forward-only）和随机导航基线在MP3D-EQA测试集上的成功率分别为66.198%和13.775%，表明它们在当前评估协议下表现强劲且难以超越。
• 基于点云的模型在障碍物规避方面优于仅使用RGB的模型，表现最佳的模型（NoIW-M+PC+RGB+Q）成功率达到32.496%，SPL为0.383，显著优于仅使用RGB的基线。
• 所提出的拐点加权损失方案在多种架构和感知模态下均提升了性能，最佳模型（NoIW-M+PC+RGB+Q）达到32.496%的成功率，证明其在处理动作序列不平衡问题上的有效性。
• 点云与RGB图像的结合实现了最佳性能，NoIW-M+PC+RGB+Q模型成功率达到32.496%，SPL为0.383，表明3D与2D感知具有互补优势。
• 最短路径专家基线的成功率为58.1%，但最佳学习策略（NoIW-M+PC+RGB+Q）超越了该表现，表明通过恰当的损失加权进行端到端训练，可超越专家演示。
• 研究发现，当前具身问答评估设置倾向于偏好简单策略，这是由于特定的轨迹和成功判定标准所致，提示在解释性能提升时需谨慎考虑基线的鲁棒性。