[论文解读] Simultaneous Mapping and Target Driven Navigation

Georgios Georgakis, Yimeng Li+1 more|arXiv (Cornell University)|Nov 18, 2019

Robotics and Sensor-Based Localization参考文献 28被引用 11

一句话总结

本文提出了一种模块化框架，用于在未见过的室内环境中实现同步映射与目标导向导航，利用融合了RGB图像、语义分割和目标检测的2.5D非主视角地图。通过联合训练映射模块（用于姿态估计与地图配准）和导航策略（利用语义地图定位目标物体），该方法在AVD和Matterport3D数据集上实现了最先进性能，显著提升了定位精度与导航成功率。

ABSTRACT

This work presents a modular architecture for simultaneous mapping and target driven navigation in indoors environments. The semantic and appearance stored in 2.5D map is distilled from RGB images, semantic segmentation and outputs of object detectors by convolutional neural networks. Given this representation, the mapping module learns to localize the agent and register consecutive observations in the map. The navigation task is then formulated as a problem of learning a policy for reaching semantic targets using current observations and the up-to-date map. We demonstrate that the use of semantic information improves localization accuracy and the ability of storing spatial semantic map aids the target driven navigation policy. The two modules are evaluated separately and jointly on Active Vision Dataset and Matterport3D environments, demonstrating improved performance on both localization and navigation tasks.

研究动机与目标

• 解决端到端导航模型缺乏显式空间表征且假设定位完美的局限性。
• 通过将语义与外观特征融入学习得到的2.5D非主视角地图，提升定位精度。
• 通过利用编码了物体位置与上下文线索的语义空间地图，增强目标导向导航性能。
• 在真实与合成环境中评估映射与导航模块的联合性能。
• 研究语义地图模态、微调以及本体观察对导航策略性能的影响。

提出的方法

• 映射模块采用受MapNet启发的架构，从RGB图像、语义分割输出和目标检测预测中学习并更新2.5D非主视角空间表征。
• 从卷积神经网络输出中提取语义特征，并嵌入连续的空间记忆中，以提升定位与地图配准性能。
• 导航策略通过深度强化学习进行训练，输入包括当前本体观察、代理预测姿态以及部分空间地图。
• 系统联合优化映射与导航模块，使地图引导导航，同时导航经验反哺地图优化。
• 消融研究评估了不同地图模态（RGB、语义分割、目标检测）、微调以及本体观察的贡献。
• 该框架采用可微分的空间记忆，支持定位与导航组件的端到端训练。

实验结果

研究问题

• RQ1 与仅使用RGB的地图相比，将语义与外观特征融入2.5D非主视角地图在多大程度上提升了定位精度？
• RQ2 在未见过的环境中，语义地图在多大程度上提升了目标导向导航策略的性能？
• RQ3 RGB、语义分割与目标检测特征对最终导航性能的相对贡献是什么？
• RQ4 当地图作为输入时，微调映射模块是否能提升导航策略的泛化能力？
• RQ5 本体观察如何在处理遮挡与传感器限制时，与非主视角地图形成互补？

主要发现

• 在Active Vision Dataset上，表现最佳的导航模型（Nav-SSeg-Det）取得了64.6%的成功率，较仅使用RGB的基线模型（60.1%）高出4.5个百分点。
• 在Matterport3D上，使用所有模态的模型（Nav-RGB-SSeg-Det）取得了69.5%的成功率，显著优于仅使用RGB的基线模型（66.7%）和仅使用语义的模型（62.9%）。
• 消融研究显示，若不微调地图模块，性能下降约5–7个百分点，表明联合优化至关重要。
• 若排除本体观察，成功率下降约4%，证实其在应对深度传感器在物体附近性能受限时具有重要价值。
• 包含目标检测的语义地图实现了最低的定位误差，验证了其在空间推理中的有效性。
• 平均路径长度比低于非学习基线，表明策略通过利用语义线索学会了更高效的导航。