[论文解读] Learning models for visual 3D localization with implicit mapping

Dan Rosenbaum, Frederic Besse+3 more|arXiv (Cornell University)|Jul 4, 2018

Robotics and Sensor-Based Localization参考文献 40被引用 17

一句话总结

本文提出一种基于增强型生成查询网络（GQN）与新型注意力机制的隐式场景表征生成学习方法，用于视觉3D定位。结果表明，生成模型在捕捉场景结构与不确定性方面优于判别基线模型，尽管其在推理时需要优化；而判别模型由于更强的先验偏差，在真实姿态上的似然度更高。

ABSTRACT

We consider learning based methods for visual localization that do not require the construction of explicit maps in the form of point clouds or voxels. The goal is to learn an implicit representation of the environment at a higher, more abstract level. We propose to use a generative approach based on Generative Query Networks (GQNs, Eslami et al. 2018), asking the following questions: 1) Can GQN capture more complex scenes than those it was originally demonstrated on? 2) Can GQN be used for localization in those scenes? To study this approach we consider procedurally generated Minecraft worlds, for which we can generate images of complex 3D scenes along with camera pose coordinates. We first show that GQNs, enhanced with a novel attention mechanism can capture the structure of 3D scenes in Minecraft, as evidenced by their samples. We then apply the models to the localization problem, comparing the results to a discriminative baseline, and comparing the ways each approach captures the task uncertainty.

研究动机与目标

• 探究生成模型（如GQN）是否能在无显式地图的情况下学习复杂3D环境的隐式、抽象表征。
• 评估此类隐式表征是否能有效支持在程序化3D场景中的准确视觉3D定位。
• 从不确定性建模与性能表现的角度，比较生成与判别学习方法在定位任务中的表现。
• 评估注意力机制在GQN-based模型中对场景表征与定位准确率的影响。

提出的方法

• 作者使用程序化生成的Minecraft世界构建多样化的3D场景，并附带相机姿态标注，用于训练与评估。
• 通过引入一种新型空间注意力机制，扩展GQN框架，以提升场景表征学习与视图生成能力。
• 模型从上下文图像及其姿态中学习场景的条件隐式表征，从而通过隐式推理预测新图像（目标）的姿态。
• 在定位任务中，生成模型通过在姿态空间中查询模型，计算可能姿态的概率分布；而判别基线模型则直接从上下文图像回归姿态。
• 判别模型通过直接回归头进行训练，以给定上下文图像及其姿态，预测目标图像的相机姿态。
• 性能通过姿态预测的均方误差（MSE）以及真实姿态在预测分布中的对数概率进行评估。

实验结果

研究问题

• RQ1 带有增强注意力机制的GQN能否捕捉Minecraft中程序化生成3D场景的结构复杂性？
• RQ2 此类生成模型是否可有效用于无显式地图的视觉3D定位？
• RQ3 生成方法在定位中的不确定性建模与判别基线相比如何？
• RQ4 注意力机制的引入是否提升了生成与判别设置下场景表征的质量与定位性能？

主要发现

• 在使用20张上下文图像的情况下，带注意力机制的生成模型在推理时的yaw角MSE为0.07，x,y位置MSE为0.08，优于基线模型，在不确定性感知定位方面表现更优。
• 判别模型对真实姿态的对数概率显著更高（log-prob = -1.9），而生成模型则较低（log-prob = -4.1），表明其对上下文姿态附近的先验集中度更强。
• 生成模型的概率分布在整个未探索区域更为均匀，表明其受训练数据姿态先验的影响更小，能更好地捕捉不确定性。
• 注意力机制在两种模型中均提升了性能，且在生成模型中获得更大的相对增益，表明其在隐式建模中增强了表征学习能力。
• 生成模型能够生成合理的新型视图样本，证明其能从上下文图像中学习到有意义的3D场景结构。
• 尽管不确定性建模更优，生成方法仍需在推理时进行优化，因此效率低于仅需单次前向传播的判别模型。