[论文解读] Learning Graph Matching

Tibério S. Caetano, Julian McAuley+3 more|ArXiv.org|Jun 17, 2008

Graph Theory and Algorithms参考文献 29被引用 5

一句话总结

本文提出一种基于学习的方法，通过从标注的训练数据中估计节点和边的兼容性函数，利用列生成的大-margin结构化估计方法改进图匹配。主要贡献在于，学习使线性分配方法在图匹配任务中显著提升准确率和效率，超越了最先进的以双随机归一化为特征的渐进分配方法。

ABSTRACT

As a fundamental problem in pattern recognition, graph matching has applications in a variety of fields, from computer vision to computational biology. In graph matching, patterns are modeled as graphs and pattern recognition amounts to finding a correspondence between the nodes of different graphs. Many formulations of this problem can be cast in general as a quadratic assignment problem, where a linear term in the objective function encodes node compatibility and a quadratic term encodes edge compatibility. The main research focus in this theme is about designing efficient algorithms for approximately solving the quadratic assignment problem, since it is NP-hard. In this paper we turn our attention to a different question: how to estimate compatibility functions such that the solution of the resulting graph matching problem best matches the expected solution that a human would manually provide. We present a method for learning graph matching: the training examples are pairs of graphs and the `labels' are matches between them. Our experimental results reveal that learning can substantially improve the performance of standard graph matching algorithms. In particular, we find that simple linear assignment with such a learning scheme outperforms Graduated Assignment with bistochastic normalisation, a state-of-the-art quadratic assignment relaxation algorithm.

研究动机与目标

• 通过学习引入上下文知识，解决标准图匹配方法对所有图对一视同仁、忽视上下文的局限性。
• 学习兼容性函数（节点与边），使图匹配结果与人工提供的真实匹配对齐。
• 通过在标注数据上训练现有图匹配算法，而非依赖手工设计的兼容性函数，提升算法性能。
• 证明学习可使线性分配等简单算法在性能上媲美甚至超越复杂度更高的最先进方法，如采用双随机归一化的渐进分配。

提出的方法

• 该方法将图匹配建模为带有可学习线性（节点）和二次（边）兼容性项的二次分配问题。
• 采用大-margin结构化预测训练兼容性函数，最小化结构化损失，惩罚与真实匹配偏离的匹配结果。
• 采用列生成方法高效求解具有指数级约束的大型凸优化问题。
• 损失函数定义为 $ \Delta(G,G',\pi) = 1 - \frac{1}{|\pi|} \sum_i \left[ \frac{d(G_i, G'_{\pi(i)})}{\sigma} \right] $，用于惩罚与正确匹配距离较远的匹配。
• 该方法同时应用于线性分配与渐进分配，实现端到端学习以提升性能。
• 训练数据由带有对应人工标注匹配的图对组成，用于推断最优兼容性函数。

实验结果

研究问题

• RQ1 从标注数据中学习兼容性函数，是否能提升图匹配性能，超越手工设计的函数？
• RQ2 学习是否能使线性分配等简单算法超越更复杂的最先进方法，如采用双随机归一化的渐进分配？
• RQ3 基于学习的图匹配性能在不同数据集和真实世界条件下如何变化？
• RQ4 学习能否有效集成到现有图匹配算法中，以同时提升准确率与速度？

主要发现

• 采用学习兼容性函数的线性分配在准确率与速度上均优于采用双随机归一化的渐进分配（最先进方法）。
• 在'bikes'数据集上，学习方法的测试损失从0.101降至0.062，表明相比非学习基线有显著改进。
• 在'house'数据集上，学习方法在所有基线条件下均持续优于非学习方法，即使在运动与噪声导致性能非单调时亦然。
• 系统学习到的权重向量在特定角度区间上呈现显著峰值，表明模型学会了优先关注某些结构配置。
• 将学习引入渐进分配框架后，性能进一步提升，准确率更高且收敛更快，优于现有二次分配松弛方法。
• 结果表明，学习兼容性函数可使线性分配成为复杂松弛方法的可行且具竞争力的替代方案。