[论文解读] Deep Graph Matching via Blackbox Differentiation of Combinatorial Solvers

Michal Rolínek, Paul Swoboda+4 more|arXiv (Cornell University)|Mar 25, 2020

Graph Theory and Algorithms参考文献 59被引用 72

一句话总结

本文提出了一种用于深度图匹配的端到端可微架构，该架构集成了一个黑箱组合图匹配求解器，在关键点对应基准上实现了最先进性能。通过利用高度优化的拉格朗日分解求解器并引入全局特征注意力机制，该方法在具有挑战性的视角差异较大的图像对上表现出更优的准确性，同时保留了与多图匹配求解器联合后处理的能力。

ABSTRACT

Building on recent progress at the intersection of combinatorial optimization and deep learning, we propose an end-to-end trainable architecture for deep graph matching that contains unmodified combinatorial solvers. Using the presence of heavily optimized combinatorial solvers together with some improvements in architecture design, we advance state-of-the-art on deep graph matching benchmarks for keypoint correspondence. In addition, we highlight the conceptual advantages of incorporating solvers into deep learning architectures, such as the possibility of post-processing with a strong multi-graph matching solver or the indifference to changes in the training setting. Finally, we propose two new challenging experimental setups. The code is available at https://github.com/martius-lab/blackbox-deep-graph-matching

研究动机与目标

• 解决现有深度图匹配方法因集成组合求解器质量不足而带来的局限性，通过集成高性能、未经修改的组合求解器来实现。
• 通过SplineCNN引入相对关键点位置信息，并通过注意力机制引入全局图像特征，以改进图匹配中的特征表示。
• 通过在推理阶段使用多图匹配求解器联合处理多个图匹配实例，实现更强的后处理能力。
• 提出新的、更具挑战性的基准设置，以更好地评估在真实场景（如未过滤的关键点集合和高视角变化）下的鲁棒性。
• 证明端到端训练结合黑箱可微求解器能够实现稳定优化，并在多种训练设置下实现良好泛化能力。

提出的方法

• 通过基于对偶块坐标上升的拉格朗日分解方法，实现对最先进组合图匹配求解器的黑箱可微反向传播。
• 基于视觉特征（通过VGG提取）和几何特征（通过SplineCNN提取的相对关键点位置）构建图匹配实例，边代价由学习到的特征相似性计算得出。
• 引入一种全局特征注意力机制，根据全局图像嵌入动态重加权节点和边特征，提升对视角和尺度变化的鲁棒性。
• 使用可微包装器实现组合求解器的梯度流动，从而在不修改求解器内部逻辑的前提下实现端到端训练。
• 在推理阶段使用多图匹配求解器，联合优化多个图像对的预测结果，提升一致性和准确性。
• 在特征提取和代价计算模块中应用标准深度学习技术，如批量归一化、ReLU激活函数和跳跃连接。

实验结果

研究问题

• RQ1 是否可以有效将黑箱组合图匹配求解器集成到端到端可微深度学习流程中，而不会损害求解器性能？
• RQ2 引入全局图像特征和相对几何信息是否能提升匹配准确性，尤其是在大视角变化条件下？
• RQ3 所提出的架构是否能在标准和新提出的基准上超越现有可微图匹配方法，特别是在具有挑战性的场景中？
• RQ4 使用高性能、未经修改的组合求解器在多大程度上提升了后处理能力，并增强了对无法匹配关键点的鲁棒性？
• RQ5 该方法在不同训练设置（包括迁移学习和零样本评估）下的泛化能力如何？

主要发现

• 所提出的BB-GM方法在SPair-71k基准上达到最先进性能，平均准确率达到78.9% ± 0.4，显著优于DGMC在困难视角对上的72.2% ± 0.2。
• 在SPair-71k上，BB-GM在所有类别上实现78.9%的平均准确率，而DGMC为72.2%，在困难视角对上绝对提升达6.7%。
• 在Willow ObjectClass基准上，BB-GM在微调后对人脸和摩托车类别分别达到100.0%的准确率，优于DGMC的98.5%和98.8%。
• 消融实验表明，若移除全局特征注意力，平均准确率从80.1%下降至77.9%；若改用Sinkhorn归一化而非组合求解器，准确率同样降至77.9%，表明求解器和注意力机制的重要性。
• 该方法在多种训练设置下保持高性能，包括从Pascal VOC到Willow的零样本迁移，表明对训练分布变化具有强鲁棒性。
• 该架构支持与多图匹配求解器的有效后处理，显著提升了在具有挑战性、模糊匹配情况下的准确性和一致性。