[论文解读] Graph Matching with Bi-level Noisy Correspondence

Yijie Lin, Mouxing Yang+4 more|arXiv (Cornell University)|Dec 8, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出了双层次噪声对应（Bi-level Noisy Correspondence, BNC），这是图匹配中因标注错误导致节点和边层面对应关系出现噪声而产生的一种新挑战。作者提出COMMON方法，一种基于对比学习与动量蒸馏的鲁棒图匹配方法，采用鲁棒的二次对比损失和通过动量教师模型实现的自适应噪声惩罚，即使在存在噪声标注的情况下，也在三个真实世界数据集上取得了最先进性能。

ABSTRACT

In this paper, we study a novel and widely existing problem in graph matching (GM), namely, Bi-level Noisy Correspondence (BNC), which refers to node-level noisy correspondence (NNC) and edge-level noisy correspondence (ENC). In brief, on the one hand, due to the poor recognizability and viewpoint differences between images, it is inevitable to inaccurately annotate some keypoints with offset and confusion, leading to the mismatch between two associated nodes, i.e., NNC. On the other hand, the noisy node-to-node correspondence will further contaminate the edge-to-edge correspondence, thus leading to ENC. For the BNC challenge, we propose a novel method termed Contrastive Matching with Momentum Distillation. Specifically, the proposed method is with a robust quadratic contrastive loss which enjoys the following merits: i) better exploring the node-to-node and edge-to-edge correlations through a GM customized quadratic contrastive learning paradigm; ii) adaptively penalizing the noisy assignments based on the confidence estimated by the momentum teacher. Extensive experiments on three real-world datasets show the robustness of our model compared with 12 competitive baselines. The code is available at https://github.com/XLearning-SCU/2023-ICCV-COMMON.

研究动机与目标

• 为解决图匹配中尚未充分探索的双层次噪声对应（Bi-level Noisy Correspondence, BNC）问题，其中节点层面和边层面的对应关系均受标注错误影响。
• 开发一种对噪声对应关系具有鲁棒性的方法，且无需预先识别的噪声标签或验证数据。
• 将线性（节点到节点）和二次（边到边）几何信息整合进对比学习框架，以提升对齐效果。
• 通过使用动量教师模型，利用深度网络的记忆行为，生成高质量的伪目标用于噪声感知训练。

提出的方法

• 该方法采用一种鲁棒的二次对比损失，通过图几何一致性正则化器显式建模节点到节点和边到边的亲和力。
• 引入两种新颖的正则化器，将二次结构信息嵌入对比学习目标，增强节点与边之间相关性的建模能力。
• 使用动量教师网络在训练过程中生成稳定的伪目标，利用深度网络在拟合噪声之前先记忆干净模式的特性。
• 通过将学生模型的预测与动量教师模型的输出进行比较，自适应地惩罚低置信度的分配，从而降低噪声对应关系的影响。
• 模型架构包括基于VGG16的图像编码器、基于Delaunay三角剖分的SplineCNN图卷积层，以及用于特征投影到256维嵌入的两层投影头。
• 最终通过投影特征的点积计算节点相似性矩阵和边邻接矩阵，构成对比损失的基础。

实验结果

研究问题

• RQ1 双层次噪声对应（即节点和边对应关系均存在噪声）如何影响现有图匹配方法的性能？
• RQ2 对比学习框架能否被有效扩展以在噪声条件下建模图匹配中的线性和二次亲和力？
• RQ3 在无需预标注噪声信息的情况下，动量蒸馏策略在多大程度上能提升图匹配对噪声对应关系的鲁棒性？
• RQ4 几何一致性正则化器的引入在多大程度上增强了模型学习可靠节点和边层面对应关系的能力？

主要发现

• 所提出的COMMON方法在三个真实世界图匹配基准上均取得了最先进性能，优于12种竞争性基线方法。
• 大量消融实验验证了二次对比损失和动量蒸馏在提升对噪声对应关系鲁棒性方面均不可或缺。
• 该方法在Pascal VOC和SPair-71k数据集上的可视化结果表明，其在低可识别性和大视角差异等困难情形下显著提升了匹配准确率。
• 动量蒸馏策略通过利用教师模型的稳定预测，有效降低了噪声样本的影响，即使学生模型暴露于被污染的标注数据中。
• 尽管引入了动量网络，推理速度与标准模型保持一致，训练时间仅约为基线模型的1.4倍。