[论文解读] Gromov-Wasserstein Factorization Models for Graph Clustering

Hongteng Xu|arXiv (Cornell University)|Nov 19, 2019

Topological and Geometric Data Analysis参考文献 30被引用 8

一句话总结

本文提出了一种新颖的图聚类Gromov-Wasserstein分解（GWF）模型，通过使用Gromov-Wasserstein重心来学习可学习权重的共享原子，对图进行分解。通过最小化观测图与其重心重构之间的GW差异，该模型实现了对未对齐、异构图的灵活且可解释的聚类——在PROTEIN和IMDB-B数据集上达到了最先进性能。

ABSTRACT

We propose a new nonlinear factorization model for graphs that are with topological structures, and optionally, node attributes. This model is based on a pseudometric called Gromov-Wasserstein (GW) discrepancy, which compares graphs in a relational way. It estimates observed graphs as GW barycenters constructed by a set of atoms with different weights. By minimizing the GW discrepancy between each observed graph and its GW barycenter-based estimation, we learn the atoms and their weights associated with the observed graphs. The model achieves a novel and flexible factorization mechanism under GW discrepancy, in which both the observed graphs and the learnable atoms can be unaligned and with different sizes. We design an effective approximate algorithm for learning this Gromov-Wasserstein factorization (GWF) model, unrolling loopy computations as stacked modules and computing gradients with backpropagation. The stacked modules can be with two different architectures, which correspond to the proximal point algorithm (PPA) and Bregman alternating direction method of multipliers (BADMM), respectively. Experiments show that our model obtains encouraging results on clustering graphs.

研究动机与目标

• 开发一种适用于图等结构化数据的分解模型，能够处理大小和拓扑各异的未对齐、异构图。
• 通过引入基于关系与伪度量的框架，将传统分解模型从向量化数据扩展至图数据，利用Gromov-Wasserstein差异作为核心机制。
• 通过显式原子与系数实现可解释的图嵌入，提升模型可解释性，超越黑箱图神经网络。
• 设计一种高效、可微的GWF模型学习算法，结合展开优化与反向传播。
• 在基准数据集上展示该模型在图聚类与分类任务中的优越性能。

提出的方法

• 模型通过邻接矩阵表示每个图，可选地包含节点属性，且节点在单纯形中均匀分布。
• 将图重构问题表述为Gromov-Wasserstein重心问题，其中观测图通过学习到的原子的加权组合进行近似。
• 目标函数通过最小化每个观测图与其重心重构之间的GW差异来实现，原子与系数作为可学习参数。
• 通过将循环的GW计算展开为堆叠模块，开发出一种近似学习算法，利用包络定理实现反向传播。
• 该算法采用两种架构实现：近端点算法（PPA）与Bregman ADMM（BADMM），均支持端到端训练。
• 该模型兼容带属性与不带属性的图，且由于其O(LKI)复杂度，支持大规模聚类。

实验结果

研究问题

• RQ1 能否设计一种分解模型，即使在图未对齐且大小不一的情况下，也能显式地将图分解为共享原子与可解释的系数？
• RQ2 在分解框架中，Gromov-Wasserstein差异能否作为关系图比较的有意义伪度量？
• RQ3 尽管GW计算具有非凸性与迭代性，能否构建一种基于GW的、可端到端训练且支持反向传播的学习算法？
• RQ4 所提出的GWF模型是否在基准数据集上优于现有图聚类与分类方法？
• RQ5 PPA与BADMM实现方式在GWF模型的收敛性、准确率与运行时间方面有何对比？

主要发现

• 基于PPA的GWF模型在AIDS数据集上达到99.5%的聚类准确率，显著优于次佳方法FGWK（91.0%）。
• 在PROTEIN数据集上，基于PPA的GWF达到70.7%的准确率，优于FGWK（75.1%）的分类性能与GWB-KM（64.7%）的聚类性能。
• 基于BADMM的GWF模型在PROTEIN上的聚类准确率达到69.3%，优于GWB-KM（62.9%），并接近FGWK的性能。
• GWF模型表现出更优的稳定性，其在多次运行中的结果标准差小于FGWK。
• 该模型的O(LKI)复杂度使其可扩展至大规模图，而FGWK的O(I²)复杂度限制了其可扩展性。
• t-SNE可视化结果证实，所学习的图嵌入能有效捕捉所有四个数据集中的潜在聚类结构。