[论文解读] Gromov-Wasserstein Learning for Graph Matching and Node Embedding

Hongteng Xu, Dixin Luo+2 more|arXiv (Cornell University)|Jan 17, 2019

Advanced Graph Neural Networks参考文献 51被引用 88

一句话总结

本论文提出 Gromov-Wasserstein Learning，通过最小化带正则化的 GW 差异来联合匹配图并学习跨图节点嵌入，采用近端点法求解。

ABSTRACT

A novel Gromov-Wasserstein learning framework is proposed to jointly match (align) graphs and learn embedding vectors for the associated graph nodes. Using Gromov-Wasserstein discrepancy, we measure the dissimilarity between two graphs and find their correspondence, according to the learned optimal transport. The node embeddings associated with the two graphs are learned under the guidance of the optimal transport, the distance of which not only reflects the topological structure of each graph but also yields the correspondence across the graphs. These two learning steps are mutually-beneficial, and are unified here by minimizing the Gromov-Wasserstein discrepancy with structural regularizers. This framework leads to an optimization problem that is solved by a proximal point method. We apply the proposed method to matching problems in real-world networks, and demonstrate its superior performance compared to alternative approaches.

研究动机与目标

• 在图形存在噪声或不完整时，推动鲁棒的图匹配。
• 联合学习节点嵌入和跨图运输计划，以引导对齐。
• 在带有结构正则化的 Gromov-Wasserstein 差异框架下，统一图匹配与嵌入学习。

提出的方法

• 为两个图定义 GW 差异，其距离矩阵来自数据和嵌入。
• 将 C_s 和 C_t 构造成数据驱动距离和基于嵌入的距离的混合（C_k(X_k) = (1-α)C_k + αK(X_k,X_k)）。
• 通过 K(X_s,X_t) 将跨图嵌入之间的 Wasserstein 差异纳入考虑。
• 用先验一致性损失 R(X_s,X_t) 对嵌入进行正则化。
• 通过对 T（最优传输）和 X（嵌入）交替优化，使用带 KL 散度的近端点法求解非凸问题（等价于 Sinkhorn 步骤）。
• 初始化策略设定 α 在外部迭代中逐步增大，以稳定联合学习。

实验结果

研究问题

• RQ1 是否可以使用 GW 差异来联合对齐两张图并学习跨图节点嵌入？
• RQ2 将嵌入基距离和正则化项纳入后，是否相对于仅数据的 GW 匹配在对带噪声/部分缺失的图更鲁棒？
• RQ3 所提出的近端点优化在学习传输和嵌入方面的有效性与稳定性如何？
• RQ4 该方法在合成和真实网络上的可扩展性和相对于最先进的图匹配方法的表现如何？

主要发现

• 在相同的源/目标图上，该方法实现近似 100% 的节点正确性，且在合成测试中 GW 差异接近零。
• 考虑嵌入的 GWL（GWL-C、GWL-R）在噪声水平较高时特别优于仅数据的 GW 匹配（GWD）。
• 在 MC3 通信网络数据集上，GWL 变体在稀疏和密集图上均超越一系列有竞争力的图匹配方法。
• 从 GWL 学习的嵌入在跨图上对齐到一个公共流形，重叠的嵌入指示匹配对。
• 该方法在计算复杂度和鲁棒性方面具有优势，且可在 GPU 上并行化的组件。