[论文解读] Fused Gromov-Wasserstein Graph Mixup for Graph-level Classifications

Xinyu Ma, Xu Chu+5 more|arXiv (Cornell University)|Jun 28, 2023

Advanced Graph Neural NetworksComputer Science被引用 3

一句话总结

该论文提出FGWMixup，一种新颖的图混合方法，通过融合格罗莫夫-沃瑟斯坦（Fused Gromov-Wasserstein, FGW）最优传输方法，联合建模图结构与节点信号的相互作用，以生成更具鲁棒性和泛化能力的图级别表征。通过在FGW度量空间中求解最优图间节点匹配策略，并采用松弛镜像下降法加速求解器，FGWMixup在多种GNN主干网络和数据集上均实现了最先进性能，显著提升了泛化能力与鲁棒性。

ABSTRACT

Graph data augmentation has shown superiority in enhancing generalizability and robustness of GNNs in graph-level classifications. However, existing methods primarily focus on the augmentation in the graph signal space and the graph structure space independently, neglecting the joint interaction between them. In this paper, we address this limitation by formulating the problem as an optimal transport problem that aims to find an optimal inter-graph node matching strategy considering the interactions between graph structures and signals. To solve this problem, we propose a novel graph mixup algorithm called FGWMixup, which seeks a midpoint of source graphs in the Fused Gromov-Wasserstein (FGW) metric space. To enhance the scalability of our method, we introduce a relaxed FGW solver that accelerates FGWMixup by improving the convergence rate from $\mathcal{O}(t^{-1})$ to $\mathcal{O}(t^{-2})$. Extensive experiments conducted on five datasets using both classic (MPNNs) and advanced (Graphormers) GNN backbones demonstrate that FGWMixup effectively improves the generalizability and robustness of GNNs. Codes are available at https://github.com/ArthurLeoM/FGWMixup.

研究动机与目标

• 为解决现有图数据增强方法将图结构与节点信号独立处理、忽略其联合交互作用的局限性。
• 将图混合建模为一个联合考虑图结构与节点信号空间的最优传输问题。
• 提出一种基于FGW的可扩展混合方法，旨在FGW度量空间中找到一个‘中点’图，同时保持结构与信号的完整性。
• 通过采用松弛镜像下降法加速FGW求解器，将收敛速度从O(t⁻¹)提升至O(t⁻²)。
• 通过实证验证FGWMixup在多样化GNN架构与基准数据集（包括OGB）上的有效性。

提出的方法

• 在融合格罗莫夫-沃瑟斯坦（FGW）度量空间中将图混合建模为最优传输问题，以联合建模图结构与节点信号。
• 将增强后的图定义为源图的加权平均，最小化源分布与目标分布之间在FGW空间中的运输成本。
• 引入一种松弛的FGW求解器，将多面体约束分解为独立的行与列单纯形约束，支持交替镜像下降。
• 采用有界梯度近似方法以确保松弛求解器的收敛性与稳定性，提升可扩展性。
• 将该方法应用于经典MPNN（如GCN、GIN）与先进模型（如Graphormer）以实现图级别分类。
• 采用参数k=0.2的Beta分布作为混合系数，经敏感性分析验证。

实验结果

研究问题

• RQ1 在数据增强中联合建模图结构与节点信号是否能提升GNN的泛化能力与鲁棒性？
• RQ2 FGWMixup与现有混合方法（如ifMixup、G-Mixup）相比，在性能与效率方面表现如何？
• RQ3 松弛的FGW求解器是否能显著提升基于FGW的混合方法的可扩展性，同时不损失近似质量？
• RQ4 FGWMixup在多样化GNN主干网络与图数据集（包括OGB基准）上是否保持高性能？
• RQ5 FGWMixup对混合过程中Beta分布参数k的选择是否敏感？

主要发现

• FGWMixup在五个基准数据集（包括PROTEINS、NCI1、ogbg-molhiv、ogbg-molbace）上均实现了最先进性能，涵盖MPNN与Graphormer主干网络。
• 在ogbg-molhiv上，FGWMixup ∗相较于原始GNN，vGCN与vGIN分别实现2.69%与3.46%的AUROC相对提升。
• 在ogbg-molbace上，FGWMixup实现1.14%与8.86%的相对提升，分别对应vGCN与vGIN，且方差显著降低。
• 松弛的FGW求解器将混合推理时间从G-Mixup+GW的2523.78秒降低至394.57秒，提速6.4倍，FGWMixup ∗进一步将时间保持在394.57秒。
• 敏感性分析表明，Beta(0.2,0.2)整体性能最佳，尽管最优k值在不同数据集与主干网络上略有差异。
• FGWMixup持续降低模型方差并提升鲁棒性，表现出对数据噪声与扰动的强大抵抗能力。