[论文解读] Correspondence Networks with Adaptive Neighbourhood Consensus

Shuda Li, Kai Han+3 more|arXiv (Cornell University)|Mar 26, 2020

Advanced Image and Video Retrieval Techniques参考文献 37被引用 6

一句话总结

该论文提出ANC-Net，一种用于同一物体类别图像之间密集语义对应估计的深度学习框架，通过稀疏关键点标注端到端训练。它引入了一种基于非各向同性4D卷积的自适应邻域共识模块和多尺度自相似性模块，以提升对类内差异的鲁棒性，在基准数据集上实现了最先进性能，并通过一种新颖的正交损失强制实现一一对应匹配。

ABSTRACT

In this paper, we tackle the task of establishing dense visual correspondences between images containing objects of the same category. This is a challenging task due to large intra-class variations and a lack of dense pixel level annotations. We propose a convolutional neural network architecture, called adaptive neighbourhood consensus network (ANC-Net), that can be trained end-to-end with sparse key-point annotations, to handle this challenge. At the core of ANC-Net is our proposed non-isotropic 4D convolution kernel, which forms the building block for the adaptive neighbourhood consensus module for robust matching. We also introduce a simple and efficient multi-scale self-similarity module in ANC-Net to make the learned feature robust to intra-class variations. Furthermore, we propose a novel orthogonal loss that can enforce the one-to-one matching constraint. We thoroughly evaluate the effectiveness of our method on various benchmarks, where it substantially outperforms state-of-the-art methods.

研究动机与目标

• 为解决同一类别中不同实例图像之间建立密集视觉对应关系的挑战，这些图像存在较大的类内差异且缺乏密集标注。
• 开发一种深度学习模型，仅使用稀疏关键点标注即可端到端训练，避免昂贵的密集监督。
• 通过建模对应关系有效性来提升匹配鲁棒性，采用自适应邻域共识，以适应不同物体尺度和形状。
• 通过在训练过程中引入一种新颖的正交损失，强制实现合理的一一对应关系。
• 设计一种对颜色、尺度和光照变化等外观差异具有不变性的高效且有效的特征表示。

提出的方法

• ANC-Net采用CNN主干网络从输入图像对中提取初始特征，随后通过多尺度自相似性模块从CNN特征中计算自相似性特征，以增强对类内差异的鲁棒性。
• ANC-Net的核心是自适应邻域共识（ANC）模块，该模块使用非各向同性4D卷积核，动态选择候选对应点周围的邻域区域，从而在尺度和形状变化下提升匹配的可靠性。
• 4D相关图从原始CNN特征和自相似性特征中计算得出，随后由ANC模块进行优化，生成具有更高匹配质量得分的精炼相关图。
• 引入一种新颖的正交损失以正则化训练过程，强制实施一一对应映射约束，减少模糊或错误的匹配。
• 模型仅使用稀疏关键点标注进行端到端训练，正交损失有助于抑制虚假匹配并提升泛化能力。
• 通过插值从精炼的4D相关图中提取密集对应关系，实现源图像到目标图像的密集形变。

实验结果

研究问题

• RQ1 深度学习模型能否仅使用稀疏关键点标注，在同一类别图像之间实现准确的密集语义对应？
• RQ2 如何使邻域共识对不同物体尺度和形状具有自适应性，以提升匹配鲁棒性？
• RQ3 多尺度自相似性特征能否增强对类内外观差异（如颜色和光照变化）的不变性？
• RQ4 新颖的正交损失是否能有效强制实施一一对应约束，从而获得更合理的匹配结果？
• RQ5 在标准基准上，所提出的ANC-Net架构与SOTA方法相比，在准确性和鲁棒性方面表现如何？

主要发现

• ANC-Net在PASCAL-Part基准上的PCK@0.1得分为86.1，显著优于微调后的NC-Net（81.9）和DCCNet（83.7）。
• 消融实验表明，若移除任一组件——ANC模块、多尺度自相似性或正交损失——性能均会下降，证实了每个设计选择的有效性。
• 在三种ANC模块变体中，ANC_d表现最佳（PCK@0.1为86.1），表明灵活的特征组合路径可增强对尺度变化的鲁棒性。
• 定性结果表明，ANC-Net生成单峰相关图，减少了因肢体等模糊关键点导致的失败，而NC-Net和DCCNet常表现出多个峰值。
• 密集形变结果表明，ANC-Net在保持物体尺度和结构细节方面优于基线方法，尤其在姿态和尺度差异较大的挑战性情况下表现更优。
• 模型在多种类别和条件下泛化良好，多个基准（包括PASCAL-Part、LSP和CelebA）均表现出一致的性能提升。