[论文解读] LIFT: Learned Invariant Feature Transform

Kwang Moo Yi, Eduard Trulls+2 more|arXiv (Cornell University)|Mar 30, 2016

Advanced Image and Video Retrieval Techniques参考文献 37被引用 102

一句话总结

LIFT 提出一个完全可微分、端到端的深度网络，联合学习特征点检测、方向估计与描述子提取，在标准基准上优于最先进方法。

ABSTRACT

We introduce a novel Deep Network architecture that implements the full feature point handling pipeline, that is, detection, orientation estimation, and feature description. While previous works have successfully tackled each one of these problems individually, we show how to learn to do all three in a unified manner while preserving end-to-end differentiability. We then demonstrate that our Deep pipeline outperforms state-of-the-art methods on a number of benchmark datasets, without the need of retraining.

研究动机与目标

• 在一个可微分的单一管线中，激发联合学习局部特征的检测、方向估计和描述的必要性。
• 开发一个基于三组件的CNN架构（检测器、方向估计器、描述符），其通过可微分操作连接，以实现端到端训练。
• 证明联合优化比分开优化各组件能获得更好的整体匹配性能。
• 评估学习得到的特征在具有不同视角和光照的多样数据集上的泛化能力。

提出的方法

• 引入包含三个基于CNN的组件的LIFT架构：检测器、方向估计器和描述符。
• 使用空间变换层在裁剪和旋转图像补丁时进行整形并保持可微性。
• 用可微的soft argmax替代非局部极大值抑制，以实现端到端训练。
• 通过一个针对该问题的训练计划进行训练：先学习描述符，然后是方向估计器，最后是检测器，使用带有SfM推导的地面真值对应关系的孪生网络设置。
• 在对应同一/不同三维点的图像补丁上使用四分支孪生网络，在后期阶段联合优化描述符、方向和检测器。
• 在Strecha、DTU和Webcam数据集上，使用重复性、最近邻mAP和匹配分数等指标，与一组广泛的基线进行比较。

实验结果

研究问题

• RQ1 单个可微网络是否能够学习检测、方向和描述，并在联合优化下实现鲁棒的跨视图匹配？
• RQ2 将三者进行端到端训练是否比单独调整各组件获得更好的整体匹配性能？
• RQ3 学习得到的特征在具有不同场景、视角和光照的数据集上能多大程度地泛化？

主要发现

• 整合后的LIFT管线在多个标准数据集上优于最先进的基线方法。
• 每个组件（检测器、方向估计器、描述符）对整体性能有贡献，联合学习的组件优于人工设计或单独学习的对应物。
• 基于Soft Argmax的NMS和基于空间变换的补丁整形保持可微性，并实现端到端训练。
• 先训练Descriptor，再训练Orientation Estimator和Detector，形成一种实用且有效的训练策略。
• 学习得到的检测器在训练数据集之外也能泛化，在DTU和Webcam数据集的场景上表现鲁棒，即使存在数据集迁移。
• 消融研究表明用传统的基于SIFT的或其他基线替换组件会降低性能，强调端到端学习管线的优势。