[论文解读] GLMNet: Graph Learning-Matching Networks for Feature Matching

Bo Jiang, Pengfei Sun+2 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Graph Neural Networks参考文献 23被引用 23

一句话总结

GLMNet 提出了一种端到端的图学习-匹配网络，通过一种新型正则化损失函数，联合优化图结构学习、通过拉普拉斯锐化实现的判别性节点嵌入，以及一对一匹配约束。该方法在 PASCAL VOC 和 WILLOW-ObjectClass 基准测试中达到最先进性能，相较于先前基于 GCN 的方法，平均准确率最高提升 3.7% 和 11.5%。

ABSTRACT

Recently, graph convolutional networks (GCNs) have shown great potential for the task of graph matching. It can integrate graph node feature embedding, node-wise affinity learning and matching optimization together in a unified end-to-end model. One important aspect of graph matching is the construction of two matching graphs. However, the matching graphs we feed to existing graph convolutional matching networks are generally fixed and independent of graph matching, which thus are not guaranteed to be optimal for the graph matching task. Also, existing GCN matching method employs several general smoothing-based graph convolutional layers to generate graph node embeddings, in which extensive smoothing convolution operation may dilute the desired discriminatory information of graph nodes. To overcome these issues, we propose a novel Graph Learning-Matching Network (GLMNet) for graph matching problem. GLMNet has three main aspects. (1) It integrates graph learning into graph matching which thus adaptively learn a pair of optimal graphs that best serve graph matching task. (2) It further employs a Laplacian sharpening convolutional module to generate more discriminative node embeddings for graph matching. (3) A new constraint regularized loss is designed for GLMNet training which can encode the desired one-to-one matching constraints in matching optimization. Experiments on two benchmarks demonstrate the effectiveness of GLMNet and advantages of its main modules.

研究动机与目标

• 为解决深度图匹配模型中固定手工设计图结构的局限性，这些结构可能并非匹配任务的最优选择。
• 克服标准 GCN 中的特征平滑问题，该问题在匹配场景中会稀释判别性节点信息。
• 在训练过程中更有效地整合一对一匹配约束，从而在准确率上超越标准归一化方法。
• 将图学习、嵌入生成和匹配优化统一为一个端到端可训练的单一架构。

提出的方法

• 将图学习整合到匹配流程中，使模型能够为每个匹配任务自适应地学习最优图结构，而非依赖于 k-NN 或 Delaunay 三角剖分等固定结构。
• 采用拉普拉斯锐化卷积模块，通过将节点嵌入从邻居中推开，增强节点嵌入表示，以抵消标准 GCN 的平滑效应。
• 设计一种约束正则化损失函数，在训练过程中显式编码一对一匹配约束，提升预测的一致性和准确性。
• 采用对称 GCN 架构，结合可学习的邻接矩阵，以端到端方式联合优化节点特征与图拓扑结构。
• 应用可微分的图构建机制，根据节点特征和匹配目标动态更新图结构。
• 使用反向传播端到端训练完整网络，损失函数结合了匹配准确率与约束满足度。

实验结果

研究问题

• RQ1 与固定图结构相比，自适应图学习是否能提升深度图匹配中的性能？
• RQ2 拉普拉斯锐化是否能产生比标准图卷积更具判别性的节点嵌入，以用于特征匹配？
• RQ3 与标准双随机归一化相比，约束正则化损失是否能提升一对一匹配预测的准确率？
• RQ4 GLMNet 的各个组件——图学习、锐化和正则化——对整体性能的贡献分别是什么？

主要发现

• 在 PASCAL VOC 数据集上，GLMNet 相较于最相似的基线方法 PCA-GM [24] 提升了 3.7%，证明了其在特征匹配方面的优越性。
• 在 WILLOW-ObjectClass 数据集上，GLMNet 相较于 PCA-GM-Willow 提升 2.4%，相较 GMN-Willow 提升 11.5%，展现出在多样化物体类别中的强大鲁棒性。
• 消融研究证实，图学习、拉普拉斯锐化和约束正则化三个组件均对性能有显著贡献，其中图学习带来的增益最大。
• 定性示例显示，该模型在外观和姿态发生大幅变化的情况下，仍能成功匹配特征点。
• 约束正则化损失有效强制实现一对一匹配，减少错误分配，提升最终预测的一致性。
• 消融研究显示，移除任意一个核心组件均会导致准确率明显下降，验证了其必要性。