[论文解读] Extremely Dense Point Correspondences using a Learned Feature Descriptor

Xingtong Liu, Zheng Yi-ping+5 more|arXiv (Cornell University)|Mar 2, 2020

Robotics and Sensor-Based Localization参考文献 37被引用 5

一句话总结

本文提出一种自监督学习框架，采用新颖的基于排序的损失函数，用于训练密集特征描述符，显著提升了在纹理稀缺的内窥镜视频中关键点匹配估计的性能。通过利用大感受野和鲁棒的训练动态，该方法在基于运动结构（SfM）的密集三维重建中表现优异，优于本地和先前的密集描述符，在自建数据集和公开数据集上均表现突出，尤其在泛化到未见患者和内窥镜类型方面表现卓越。

ABSTRACT

High-quality 3D reconstructions from endoscopy video play an important role in many clinical applications, including surgical navigation where they enable direct video-CT registration. While many methods exist for general multi-view 3D reconstruction, these methods often fail to deliver satisfactory performance on endoscopic video. Part of the reason is that local descriptors that establish pair-wise point correspondences, and thus drive reconstruction, struggle when confronted with the texture-scarce surface of anatomy. Learning-based dense descriptors usually have larger receptive fields enabling the encoding of global information, which can be used to disambiguate matches. In this work, we present an effective self-supervised training scheme and novel loss design for dense descriptor learning. In direct comparison to recent local and dense descriptors on an in-house sinus endoscopy dataset, we demonstrate that our proposed dense descriptor can generalize to unseen patients and scopes, thereby largely improving the performance of Structure from Motion (SfM) in terms of model density and completeness. We also evaluate our method on a public dense optical flow dataset and a small-scale SfM public dataset to further demonstrate the effectiveness and generality of our method. The source code is available at https://github.com/lppllppl920/DenseDescriptorLearning-Pytorch.

研究动机与目标

• 解决由于解剖结构表面纹理稀缺，导致内窥镜视频中关键点匹配稀疏且不可靠的挑战。
• 通过提升特征描述符的质量，改善临床内窥镜中结构从运动（SfM）的性能。
• 开发一种自监督训练方案，使其在未见患者和内窥镜类型上具有良好泛化能力。
• 探究在低纹理医学影像场景下，密集描述符与局部描述符的性能差异。
• 设计一种新颖的损失函数，避免标准对比损失或回归损失在描述符学习中的歧义性问题。

提出的方法

• 提出一种使用合成数据和几何约束的自监督训练方案，无需真实对应关系即可生成正负关键点对。
• 引入一种新颖的基于排序的（RR）损失，鼓励描述符相似性正确排序，避免二值交叉熵（BCE）和Softargmax的类别不平衡与中心点歧义问题。
• 采用基于深度卷积神经网络的网络架构，对图像中所有像素预测密集描述符，利用大感受野捕捉上下文信息。
• 采用两阶段匹配策略：首先计算所有像素对之间的描述符相似性；其次通过RANSAC进行几何验证以过滤异常值。
• 利用初始训练阶段获得的稀疏SfM结果，对后续描述符优化进行自举（bootstrapping），提升泛化能力。
• 采用端到端训练方式，结合几何一致性与基于排序的监督，提升对视角和光照变化的鲁棒性。

实验结果

研究问题

• RQ1 基于学习的密集描述符配合新型损失函数，是否能在低纹理内窥镜环境中超越传统局部描述符？
• RQ2 所提出的基于排序的损失与标准对比损失和回归损失相比，在描述符可分性和训练稳定性方面表现如何？
• RQ3 在临床SfM流程中，密集描述符在未见患者和内窥镜类型上的泛化能力达到何种程度？
• RQ4 使用合成数据进行自监督预训练，是否能提升真实内窥镜序列中密集描述符学习的性能？
• RQ5 该描述符能否有效迁移到其他任务（如光流估计），证明其在SfM之外的泛化能力？

主要发现

• 在自建的鼻窦内窥镜数据集上，所提出的密集描述符在SfM中实现了显著更高的重建密度与完整性，优于SIFT、HardNet++、UCN及其他近期描述符。
• 在公开的KITTI光流数据集上，该方法在匹配准确率和光流估计质量方面优于当前最先进的密集描述符。
• 该模型能有效泛化到未见患者和内窥镜类型，证明在临床环境中具备强大的零样本迁移能力。
• 基于排序的（RR）损失在训练稳定性和最终描述符质量方面均优于BCE和Softargmax，避免了由标签歧义导致的次优解。
• 使用合成数据进行自监督预训练，使模型即使在真实世界标注数据有限的情况下，也能学习到鲁棒的描述符。
• 通过初始训练阶段获得的稀疏SfM结果对描述符进行自举优化，使后续迭代中重建结果更密集且更准确。