[论文解读] Robust Multimodal Graph Matching: Sparse Coding Meets Graph Matching

Marcelo Fiori, Pablo Sprechmann+3 more|arXiv (Cornell University)|Nov 25, 2013

Advanced Graph Neural Networks参考文献 20被引用 22

一句话总结

本文提出 GLAG，一种鲁棒的图匹配方法，通过组套索正则化将稀疏编码原理融入图匹配，实现有效的多模态和噪声图对齐。在合成图和真实图上，该方法优于最先进方法，尤其在仅使用部分、非对齐数据进行 fMRI 数据脑连接性的无对齐协同推理中表现优异。

ABSTRACT

Graph matching is a challenging problem with very important applications in a wide range of fields, from image and video analysis to biological and biomedical problems. We propose a robust graph matching algorithm inspired in sparsity-related techniques. We cast the problem, resembling group or collaborative sparsity formulations, as a non-smooth convex optimization problem that can be efficiently solved using augmented Lagrangian techniques. The method can deal with weighted or unweighted graphs, as well as multimodal data, where different graphs represent different types of data. The proposed approach is also naturally integrated with collaborative graph inference techniques, solving general network inference problems where the observed variables, possibly coming from different modalities, are not in correspondence. The algorithm is tested and compared with state-of-the-art graph matching techniques in both synthetic and real graphs. We also present results on multimodal graphs and applications to collaborative inference of brain connectivity from alignment-free functional magnetic resonance imaging (fMRI) data. The code is publicly available.

研究动机与目标

• 解决在节点对应关系未知的噪声多模态环境下图匹配的挑战。
• 开发一种鲁棒的优化框架，能够处理加权和非加权图，并提升对噪声的鲁棒性。
• 在无需预先对齐的情况下，实现从非对齐多模态数据中协同推断共享网络结构。
• 将排列估计与网络推断整合到统一的、联合优化的框架中。

提出的方法

• 通过组套索正则化将图匹配建模为非光滑凸优化问题，以在多模态图之间促进协同稀疏性。
• 依赖增广拉格朗日技术高效求解所得的非光滑优化问题。
• 将图匹配公式整合到协同网络推断框架中，联合估计排列矩阵与偏相关矩阵。
• 通过将排列约束松弛为双随机矩阵，随后采用匈牙利算法进行取整，获得有效排列。
• 在 fMRI 数据上应用该方法，通过联合估计排列不完整的数据中的脑连接性和节点对应关系。
• 在不同模态的偏相关矩阵上施加协同稀疏惩罚，以强制结构相似性。

实验结果

研究问题

• RQ1 基于稀疏编码原理的图匹配方法是否能在噪声多模态图匹配中优于现有最先进技术？
• RQ2 当图受噪声或排列扰动影响时，该方法在恢复真实节点对应关系方面表现如何？
• RQ3 该方法能否在无需预对齐的情况下，从非对齐多模态数据中联合推断潜在网络结构与节点排列？
• RQ4 将图匹配与协同网络推断相结合，是否能提升在样本有限或错位的 fMRI 数据中的连接性估计性能？

主要发现

• 所提出的 GLAG 方法在合成图和真实世界图上均优于最先进图匹配技术，尤其在噪声条件下表现更优。
• 在 fMRI 实验中，当仅使用 6 分钟数据（对比传统方法的 10 分钟）且节点标签被置换时，GLAG 的偏相关矩阵估计误差比经典图形 Lasso 降低了 30% 至 50%。
• 该方法成功从非对齐 fMRI 数据中推断出脑连接性，证明了可在无需预对齐的情况下联合学习排列与网络结构。
• 具有联合排列学习的协同推断框架，其结果与使用完整对齐数据的方法相当，验证了其对数据错位的鲁棒性。
• 组套索正则化有效促进了不同数据类型之间的共享结构模式，实现了高效的多模态图匹配。
• 该算法在加权图上表现优异，且对噪声具有强鲁棒性，表现为在多个数据集上匹配准确率持续提升。