[论文解读] Learning Feature Descriptors using Camera Pose Supervision

Qianqian Wang, Xiaowei Zhou+2 more|arXiv (Cornell University)|Apr 28, 2020

Robotics and Sensor-Based Localization参考文献 70被引用 4

一句话总结

本文提出CAPS，一种弱监督框架，仅使用相对相机位姿作为监督信号来学习深度特征描述子，无需像素级真实对应关系。通过利用对极几何约束和可微的粗到精匹配层，CAPS在几何任务上实现了最先进性能，即使仅使用位姿监督，仍优于完全监督方法。

ABSTRACT

Recent research on learned visual descriptors has shown promising improvements in correspondence estimation, a key component of many 3D vision tasks. However, existing descriptor learning frameworks typically require ground-truth correspondences between feature points for training, which are challenging to acquire at scale. In this paper we propose a novel weakly-supervised framework that can learn feature descriptors solely from relative camera poses between images. To do so, we devise both a new loss function that exploits the epipolar constraint given by camera poses, and a new model architecture that makes the whole pipeline differentiable and efficient. Because we no longer need pixel-level ground-truth correspondences, our framework opens up the possibility of training on much larger and more diverse datasets for better and unbiased descriptors. We call the resulting descriptors CAmera Pose Supervised, or CAPS, descriptors. Though trained with weak supervision, CAPS descriptors outperform even prior fully-supervised descriptors and achieve state-of-the-art performance on a variety of geometric tasks. Project Page: https://qianqianwang68.github.io/CAPS/

研究动机与目标

• 解决在学习特征描述子训练中真实对应关系标注有限、有偏或稀疏的问题。
• 通过仅使用相对相机位姿作为监督信号，实现更大、更多样化数据集的训练。
• 开发一种可微框架，利用相机位姿的几何约束而非像素级对应关系来优化描述子。
• 证明通过相机位姿的弱监督可生成与或超越完全监督方法性能的描述子。

提出的方法

• 该方法提出一种新颖的对极约束损失，利用相对相机位姿定义潜在对应关系之间的几何关系。
• 引入一种可微匹配层，使对应关系预测过程支持反向传播，从而实现整个流程的可微性。
• 采用粗到精架构，先在低分辨率下计算匹配，再在高分辨率下进行细化，以提升准确率和效率。
• 通过循环一致性与不确定性重加权策略稳定训练并提升泛化能力。
• 整个框架端到端训练，仅依赖相机位姿，无需真实关键点匹配。
• 为输入图像生成密集描述子，可与下游任务中的任意关键点检测器配合使用。

实验结果

研究问题

• RQ1 能否仅通过相机位姿监督有效学习特征描述子，而无需任何像素级对应关系标注？
• RQ2 如何利用对极几何作为弱监督信号来训练深度特征描述子？
• RQ3 能否设计一种可微的对应关系模块，使匹配过程支持反向传播？
• RQ4 与单尺度方法相比，粗到精架构是否能提升描述子质量与训练稳定性？
• RQ5 在相机位姿监督下训练的弱监督描述子能否在性能上匹配或超越完全监督方法？

主要发现

• 尽管未使用任何真实对应关系，CAPS描述子在多个几何任务（包括图像匹配和SfM）上仍优于先前完全监督的最先进方法。
• 在HPatches数据集上，CAPS取得87.6的平均平均精度（MMA）和92.1的PCK分数，超越先前完全监督方法。
• 消融实验表明，在弱监督设置下，对极约束损失优于三元组损失或对比损失，而循环一致性仅带来微小增益。
• 从随机初始化开始训练（Ours from scratch）仍能成功收敛，证明了所提损失与架构的鲁棒性。
• 粗到精模块显著提升性能，表明分层特征表示有助于提高匹配准确率。
• 即使仅使用相机位姿进行训练，CAPS在SfM任务中仍取得具有竞争力的结果，重建完整度达85.3%，重投影误差为1.8像素，表明其在真实场景中具有强大泛化能力。