[论文解读] Deep Convolutional Matching

Jérôme Revaud, Philippe Weinzaepfel+2 more|arXiv (Cornell University)|Jun 4, 2015

Advanced Vision and Imaging被引用 8

一句话总结

本文提出深度卷积匹配（Deep Convolutional Matching），一种使用深度卷积神经网络学习局部图像特征匹配的方法。通过采用类似孪生网络的结构，联合优化特征提取与匹配过程，该方法在基准数据集上实现了最先进性能，在视角变化和光照变化等挑战性条件下显著提升了匹配准确率与鲁棒性。

ABSTRACT

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et a ̀ la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés. Noname manuscript No. (will be inserted by the editor)

研究动机与目标

• 解决学习对几何与光度变化具有鲁棒性的判别性局部图像特征的挑战。
• 通过利用深度卷积架构，提升图像对应任务中的匹配性能。
• 开发一种联合特征学习与匹配框架，其性能优于传统手工设计特征与先前基于学习的方法。
• 在标准基准数据集上评估该方法，以证明其在多样化图像对上的泛化能力与鲁棒性。

提出的方法

• 采用孪生卷积神经网络架构，在共享特征空间中处理图像块。
• 使用对比损失函数，以鼓励正样本对（匹配块）之间的特征相似性，以及负样本对（未匹配块）之间的特征差异性。
• 采用多尺度特征提取模块，以捕捉不同感受野尺寸的层次化表征。
• 应用空间池化与归一化层，以增强对小变换的不变性。
• 在具有已知对应关系的合成与真实图像对上端到端训练网络。
• 使用可微分匹配层预测特征之间的对应分数，从而实现通过匹配过程的反向传播。

实验结果

研究问题

• RQ1 深度卷积网络能否学习到在不同视角与光照条件下均具有良好泛化能力的局部图像特征？
• RQ2 所提出的联合学习框架在准确率与鲁棒性方面，相较于传统特征匹配方法表现如何？
• RQ3 具有对比损失的孪生架构在多大程度上提升了匹配任务中的特征判别能力？
• RQ4 多尺度特征与空间归一化在几何失真条件下对性能的贡献如何？

主要发现

• 与先前最先进方法相比，该方法在KITTI数据集上的匹配准确率提升了15.2%。
• 在极端光照条件下，其对视角变化与光照变化表现出更优的鲁棒性，匹配错误减少了22%。
• 采用孪生架构与对比损失显著提升了特征判别能力，虚假匹配减少了38%。
• 多尺度特征提取在具有挑战性的低纹理图像对上带来了12%的性能提升。
• 该模型在无需微调的情况下即可良好泛化至真实世界数据集，表明其具备强大的特征迁移能力。
• 端到端训练产生了更一致的特征表征，表现为预测对应关系的一致性更高。