[论文解读] Deep Graph Matching Consensus

Matthias Fey, Jan Eric Lenssen+3 more|arXiv (Cornell University)|Jan 27, 2020

Advanced Graph Neural Networks参考文献 105被引用 56

一句话总结

一个两阶段、端到端的神经架构，用于学习并细化图匹配。它首先为初始软匹配计算局部嵌入，然后通过同步消息传递迭代地对它们进行细化以达到邻域共识。

ABSTRACT

This work presents a two-stage neural architecture for learning and refining structural correspondences between graphs. First, we use localized node embeddings computed by a graph neural network to obtain an initial ranking of soft correspondences between nodes. Secondly, we employ synchronous message passing networks to iteratively re-rank the soft correspondences to reach a matching consensus in local neighborhoods between graphs. We show, theoretically and empirically, that our message passing scheme computes a well-founded measure of consensus for corresponding neighborhoods, which is then used to guide the iterative re-ranking process. Our purely local and sparsity-aware architecture scales well to large, real-world inputs while still being able to recover global correspondences consistently. We demonstrate the practical effectiveness of our method on real-world tasks from the fields of computer vision and entity alignment between knowledge graphs, on which we improve upon the current state-of-the-art. Our source code is available under https://github.com/rusty1s/ deep-graph-matching-consensus.

研究动机与目标

• 将图匹配定位为结合节点相似性与边引导的邻域结构的任务。
• 开发一个可扩展的端到端可微分方法，利用局部嵌入进行初始匹配，并利用局部共识进行细化。
• 确保方法纯局部且对稀疏性敏感，以处理大型真实世界图。
• 在计算机视觉关键点匹配和跨图实体对齐任务中展示改进的性能。

提出的方法

• 使用一个共享的图神经网络 Ψ_{θ1} 在两图上计算初始节点嵌入。
• 通过 H_s H_t^T 获得初始软对应关系 S^(0)，并应用 Sinkhorn 归一化以产生一个矩形的双随机矩阵。
• 训练 Ψ_{θ1} 以最大化与真实地面真相正确匹配的可能性。
• 通过同步消息传递使用另一个 GNN Ψ_{θ2} 来评估邻域共识，从而细化对应关系。
• 通过 S 映射节点指示函数并比较邻域表示，以获得局部差异 d_{i,j}，由可训练更新 Φ_{θ3} 使用以更新 S^(l+1) 并重新用 Sinkhorn 归一化。
• 用组合损失 L = L(initial) + L(refined) 将整个系统端到端训练。
• 采用可扩展性技术：稀疏化初始匹配、使用随机节点函数，并在细化阶段应用按行的 softmax 归一化。

实验结果

研究问题

• RQ1 一个两阶段、局部运作的神经图匹配器是否能在推理时无需解决全局优化问题即可实现准确且全局一致的对应？
• RQ2 通过同步消息传递的邻域共识机制是否能可靠地识别并纠正局部不匹配，从而对子图进行对齐？
• RQ3 可扩展性策略（稀疏化、随机节点指示、按行归一化）在大型图上的性能有何影响？
• RQ4 端到端训练在多样化图域上对局部特征匹配和随后的细化提升有多大作用？

主要发现

• 两阶段方法通过将局部嵌入与邻域共识细化相结合，提升了匹配效果。
• 由共享 GNN 产生的邻域差异信号 d_{i,j} 为纠正局部不匹配提供了可靠基础。
• 在自然图像的关键点匹配和跨图知识对齐任务中，细化阶段显著优于未细化的基线。
• 通过稀疏化和高效细化，该方法对大型图也具备可扩展性且不牺牲精度。
• 在 WILLOW-ObjectClass 上，细化在各类别上显著降低初始错误；在 PascalVOC 上，当从较弱的初始匹配器开始时，提升可达最多 14 个占比点。