[论文解读] Benchmarking Classic and Learned Navigation in Complex 3D Environments

Dmytro Mishkin, Alexey Dosovitskiy+1 more|arXiv (Cornell University)|Jan 30, 2019

Robotics and Sensor-Based Localization参考文献 50被引用 41

一句话总结

该论文在多样的室内3D环境中对比了经典模块化导航管线、学习代理和人类表现，发现配备RGB-D的经典导航通常优于基于学习的方法，而学习型导航在感知输入受限时更具鲁棒性；人类仍然优于两者。

ABSTRACT

Navigation research is attracting renewed interest with the advent of learning-based methods. However, this new line of work is largely disconnected from well-established classic navigation approaches. In this paper, we take a step towards coordinating these two directions of research. We set up classic and learning-based navigation systems in common simulated environments and thoroughly evaluate them in indoor spaces of varying complexity, with access to different sensory modalities. Additionally, we measure human performance in the same environments. We find that a classic pipeline, when properly tuned, can perform very well in complex cluttered environments. On the other hand, learned systems can operate more robustly with a limited sensor suite. Overall, both approaches are still far from human-level performance.

研究动机与目标

• 评估经典模块化导航和端到端学习导航在混乱的室内3D环境中的表现。
• 在不同传感器模态（无传感、RGB、RGB-D）下评估两种方法的鲁棒性。
• 在同一环境中量化人类导航表现以进行基准比较。
• 探讨混合（经典+学习）方法是否能同时利用两种范式的优势。

提出的方法

• 实现一个经典模块化导航管线（建图、定位、规划、执行），使用ORB-SLAM2进行定位，采用D* Lite规划器。
• 与基于Direct Future Prediction (DFP)及其Belief DFP变体的端到端学习代理进行比较，以提高可解释性。
• 在MINOS仿真器中，在SunCG（Empty和Furnished）以及Matterport3D环境下，使用RGB、RGB-D及其他传感输入进行评估。
• 在可用时提供真值位姿和地图，以在不同信息条件下分析性能。
• 使用SPL、成功率和节奏等指标来衡量性能，并与人类表现进行比较。
• 尝试深度估计方法（单目和立体）来增强经典管线的RGB输入。

实验结果

研究问题

• RQ1 在混乱的3D环境中，经典模块化导航管线在成功率和效率方面与学习导航代理相比如何？
• RQ2 传感器模态（RGB 与 RGB-D）如何影响两种方法的鲁棒性与性能？
• RQ3 从RGB进行深度估计在多大程度上可以提升经典基于SLAM的导航？
• RQ4 在类似任务下，人工导航系统与人类表现相差有多接近？

主要发现

• 在混乱环境中，使用RGB-D输入的经典管线通常优于学习方法。
• 学习代理在仅RGB输入时比经典RGB基线表现更好，表明对感知信息减少具有鲁棒性。
• 深度信息显著提升经典导航性能，但仅RGB的SLAM容易发生定位失败。
• RGB-D输入再加上位姿/地图信息能够进一步提升经典导航，尽管从RGB进行深度估计可以部分恢复性能。
• 人类在所有环境和评估指标上均优于两种人工方法，凸显了自动导航仍存在的差距。