[论文解读] Benchmarking 6-DOF Outdoor Visual Localization in Changing Conditions

Torsten Sattler|arXiv (Cornell University)|Jul 28, 2017

Robotics and Sensor-Based Localization参考文献 68被引用 32

一句话总结

本文提出了首个基准数据集——Aachen Day-Night、RobotCar Seasons 和 CMU Seasons，旨在评估在现实世界条件下（如昼夜转换、天气变化和季节性变化）的6-DOF视觉定位性能。基于人工验证的真值位姿，作者表明当前最先进定位方法在这些条件下表现显著下降，尤其是在夜间和季节性变化条件下，同时证明序列化方法相比单图查询可带来显著性能提升。

ABSTRACT

Visual localization enables autonomous vehicles to navigate in their surroundings and augmented reality applications to link virtual to real worlds. Practical visual localization approaches need to be robust to a wide variety of viewing condition, including day-night changes, as well as weather and seasonal variations, while providing highly accurate 6 degree-of-freedom (6DOF) camera pose estimates. In this paper, we introduce the first benchmark datasets specifically designed for analyzing the impact of such factors on visual localization. Using carefully created ground truth poses for query images taken under a wide variety of conditions, we evaluate the impact of various factors on 6DOF camera pose estimation accuracy through extensive experiments with state-of-the-art localization approaches. Based on our results, we draw conclusions about the difficulty of different conditions, showing that long-term localization is far from solved, and propose promising avenues for future work, including sequence-based localization approaches and the need for better local features. Our benchmark is available at visuallocalization.net.

研究动机与目标

• 为解决在真实世界变化条件（如昼夜转换、天气变化和季节性变化）下评估6-DOF视觉定位缺乏标准化基准的问题。
• 评估最先进定位算法在长期自主导航中常见挑战性观测条件下的鲁棒性。
• 研究不同环境因素（光照、天气、植被变化）对定位精度的影响。
• 探索在恶劣条件下使用多张图像（序列）而非单张图像进行定位的优势。
• 提供公开可获取的高质量基准数据集，包含精确真值位姿，以推动长期视觉定位领域的未来研究。

提出的方法

• 作者构建了三个新的室外基准数据集：Aachen Day-Night、RobotCar Seasons 和 CMU Seasons，每个数据集均包含基于一种条件下拍摄图像生成的3D SfM模型，以及在不同条件下采集的查询图像。
• 通过在不同条件下人工标注2D-2D对应点，随后进行几何验证，生成查询图像的真值6DOF位姿。
• 该基准支持多种场景的评估：行人与车辆定位、单图查询与序列查询，以及包括昼夜、天气和季节变化在内的多种环境条件。
• 采用标准指标（如在位置和姿态误差阈值内成功定位的查询比例）评估最先进定位方法，包括NetVLAD、DenseVLAD、Active Search、CSL、FABMAP、LocalSfM，以及序列化方法如AS+GC(seq)。
• 在三个具有不同条件的数据集上开展实验：Aachen（昼夜）、RobotCar（昼夜、天气）和CMU（季节性植被变化，城市/郊区/公园场景）。
• 评估内容包括位置和姿态误差的累积分布函数，完整定量结果在多个误差阈值下报告（例如位置：0.25m、0.5m、5.0m；姿态：2°、5°、10°）。

实验结果

研究问题

• RQ1 昼夜变化如何影响城市环境中6-DOF视觉定位的精度？
• RQ2 雨雪和低太阳高度等天气条件在多大程度上影响定位性能？
• RQ3 植被几何形态的季节性变化如何影响视觉定位算法的鲁棒性？
• RQ4 在挑战性条件下，与单图查询相比，序列化定位能否显著提升精度？
• RQ5 在多样且变化的环境条件下，哪些局部特征描述符和检索方法最具鲁棒性？

主要发现

• 在低太阳高度条件下，最先进方法如NetVLAD和DenseVLAD在CMU Seasons数据集上的精度仅为10.4%和13.2%（误差阈值0.25m/2°），表明性能严重下降。
• 序列化方法Active Search with Global Consistency（AS+GC(seq)）在CMU数据集低太阳高度条件下的定位精度达到99.8%（误差阈值0.25m/2°），显著优于单图方法。
• 夜间条件下定位精度急剧下降：在Aachen Day-Night数据集中，使用Active Search的查询仅有28.8%在0.25m/2°内被定位，而序列化方法达到86.6%。
• 季节性植被变化影响显著：在CMU数据集中，使用单图LocalSfM时，植被茂盛状态下的定位精度为70.8%，而无叶状态下降至41.8%。
• CMU Seasons数据集表明，城市场景使用LocalSfM的定位精度为72.8%（误差阈值0.25m/2°），但在无叶的公园场景中下降至41.8%，凸显几何变化带来的挑战。
• 本研究证实，长期视觉定位问题仍未解决，尤其在极端光照和季节性变化下单图查询表现不佳，而序列化方法对实现鲁棒性能至关重要。