[论文解读] 3D Scene Geometry-Aware Constraint for Camera Localization with Deep Learning

Mi Tian, Qiong Nie+1 more|arXiv (Cornell University)|May 13, 2020

Robotics and Sensor-Based Localization参考文献 36被引用 4

一句话总结

该论文通过在像素级光度损失和图像级结构相似性损失中整合3D场景几何感知约束，提出了一种用于绝对相机位姿回归的紧凑深度学习网络，利用运动、深度和图像内容信息。与最先进方法相比，该方法在各种室内外场景中显著提升了定位精度和收敛速度。

ABSTRACT

Camera localization is a fundamental and key component of autonomous driving vehicles and mobile robots to localize themselves globally for further environment perception, path planning and motion control. Recently end-to-end approaches based on convolutional neural network have been much studied to achieve or even exceed 3D-geometry based traditional methods. In this work, we propose a compact network for absolute camera pose regression. Inspired from those traditional methods, a 3D scene geometry-aware constraint is also introduced by exploiting all available information including motion, depth and image contents. We add this constraint as a regularization term to our proposed network by defining a pixel-level photometric loss and an image-level structural similarity loss. To benchmark our method, different challenging scenes including indoor and outdoor environment are tested with our proposed approach and state-of-the-arts. And the experimental results demonstrate significant performance improvement of our method on both prediction accuracy and convergence efficiency.

研究动机与目标

• 提升复杂3D环境中绝对相机位姿回归的准确性和效率。
• 通过引入几何先验，弥合端到端深度学习与传统基于3D几何的方法之间的差距。
• 开发一种紧凑网络，有效利用运动、深度和图像内容以实现鲁棒的相机定位。
• 在真实世界条件下，对具有挑战性的室内外场景进行性能基准测试。
• 通过深度神经网络中的几何正则化，提升收敛速度和预测鲁棒性。

提出的方法

• 通过结合像素级光度损失和图像级结构相似性损失，引入3D场景几何感知约束。
• 光度损失利用深度和运动信息，强制预测图像重建与真实图像之间的一致性。
• 结构相似性损失在不同视角间保持高层图像结构，以改善特征对齐。
• 该约束作为正则化项集成到紧凑的卷积神经网络中，用于端到端的相机位姿回归。
• 运动和深度数据用于在训练期间合成形变图像以提供监督信号。
• 网络通过联合优化位姿回归损失和几何一致性损失实现端到端训练。

实验结果

研究问题

• RQ1 基于深度学习的相机定位系统是否能通过引入3D场景几何约束实现更高的准确性？
• RQ2 光度损失与结构相似性损失的结合如何影响收敛速度和鲁棒性？
• RQ3 所提出的方法是否在室内外环境中均优于最先进方法？
• RQ4 利用运动、深度和图像内容在多大程度上提升了在多样化场景中的泛化能力？
• RQ5 具有几何正则化的紧凑网络能否实现与传统3D几何方法相当或更优的性能？

主要发现

• 所提方法在具有挑战性的室内外场景中，显著提升了预测精度和收敛效率。
• 引入3D场景几何感知约束后，相比基线深度学习模型，位姿估计更加鲁棒和精确。
• 该方法在包括复杂室内外环境在内的多样化环境中表现出卓越的泛化能力。
• 结合光度损失与结构相似性损失可增强特征学习并减少优化不稳定性。
• 紧凑网络设计实现了高效推理，同时保持高精度，优于现有端到端方法。
• 该方法被接受在ICRA 2020上展示，表明其在机器人和计算机视觉领域获得了认可。