[论文解读] A metric for evaluating 3D reconstruction and mapping performance with no ground truthing

Guoxiang Zhang, YangQuan Chen|arXiv (Cornell University)|Jan 25, 2021

Robotics and Sensor-Based Localization参考文献 16被引用 4

一句话总结

本文提出了一种名为Dense Map Posterior（DMP）的新度量方法，用于在无需真实数据的情况下评估3D重建与SLAM性能。通过基于传感器观测与重建地图计算对数似然比，DMP与真实度量（如SMD和轨迹RMSE）表现出强相关性，从而实现可靠、自监督的评估以及回环检测的过滤。

ABSTRACT

It is not easy when evaluating 3D mapping performance because existing metrics require ground truth data that can only be collected with special instruments. In this paper, we propose a metric, dense map posterior (DMP), for this evaluation. It can work without any ground truth data. Instead, it calculates a comparable value, reflecting a map posterior probability, from dense point cloud observations. In our experiments, the proposed DMP is benchmarked against ground truth-based metrics. Results show that DMP can provide a similar evaluation capability. The proposed metric makes evaluating different methods more flexible and opens many new possibilities, such as self-supervised methods and more available datasets.

研究动机与目标

• 解决在缺乏昂贵且难以获取的真实数据（如LiDAR或动作捕捉轨迹）的情况下评估3D重建与SLAM系统的挑战。
• 开发一种仅依赖传感器观测与重建地图的度量方法，避免对额外真实数据的依赖。
• 提供一种可扩展的自监督评估框架，以支持大规模真实世界数据集的构建与3D地图中的自监督学习。
• 通过基于地图一致性对回环候选进行排序，实现稳健的回环闭合评估，从而减少SLAM流水线中的误报。

提出的方法

• 将密集地图后验（DMP）形式化为在给定传感器观测下对地图一致性的贝叶斯估计，利用贝叶斯法则推导出可计算的似然比。
• 通过每个3D点或深度像素的高斯似然乘积，计算两个地图假设之间的对数似然比（LLR），假设误差为零均值且方差已知。
• 使用传感器模型（如相机投影或LiDAR的测距-测角模型）从重建地图与轨迹中预测期望观测值。
• 将度量定义为负对数似然，即 r(M, Z) = -log p(Z|M)，该值作为评分：数值越低表示地图一致性越好。
• 利用CUDA与OpenGL实现并行计算，以在现代GPU上高效评估，实现每组数据集评估时间低于5秒。
• 将该度量应用于通过评估添加每个候选回环后融合的表面元模型的一致性，对回环进行排序。

实验结果

研究问题

• RQ1 能否开发一种自监督度量方法，在无需真实数据的情况下评估3D重建与SLAM性能？
• RQ2 所提出的DMP与既有的基于真实数据的度量（如SMD与轨迹RMSE）的相关性如何？
• RQ3 DMP能否有效对SLAM系统中的虚假回环进行排序与过滤？
• RQ4 在何种情况下DMP与真实度量不一致？这些情况能否被缓解？

主要发现

• DMP与基于真实数据的度量表现出强正相关性：在测试数据集中，与SMD的相关系数为0.93，与轨迹RMSE的相关系数为0.91。
• 该度量能有效识别劣质重建结果——例如，一个坍塌的模型DMP值为2254.0，而高质量重建的得分仅为14.9。
• 在回环检测评估中，DMP实现了高精度排序，精度在召回率达到100%之前始终保持在90%以上，表明其在过滤虚假回环方面表现优异。
• 该方法计算效率高，在NVIDIA Titan X Pascal上，TUM数据集的评估耗时2.7秒，ICL-NUIM数据集为4.2秒。
• 评估中的异常值主要出现在无回环且覆盖稀疏的序列中；通过添加重叠扫描可解决此问题。
• DMP通过消除对真实数据的依赖，实现了自监督学习与大规模真实世界数据集的构建。