[論文レビュー] Fused Gromov-Wasserstein Graph Mixup for Graph-level Classifications

Xinyu Ma, Xu Chu+5 more|arXiv (Cornell University)|Jun 28, 2023

Advanced Graph Neural NetworksComputer Science被引用数 3

ひとこと要約

本稿では、Fused Gromov-Wasserstein (FGW) 最適輸送を用いてグラフ構造とノード信号の相互作用を統合的にモデル化することで、よりロバストで一般化性の高いグラフレベル表現を生成する、新しいグラフミックスアップ手法 FGWMixup を提案する。FGW距離空間において最適なグラフ間ノードマッチング戦略を解き、緩和されたミラー降下法を用いてソルバーを高速化することで、複数のGNNバックボーンおよびデータセットにおいて最先端の性能を達成し、一般化性能とロバスティシティが顕著に向上する。

ABSTRACT

Graph data augmentation has shown superiority in enhancing generalizability and robustness of GNNs in graph-level classifications. However, existing methods primarily focus on the augmentation in the graph signal space and the graph structure space independently, neglecting the joint interaction between them. In this paper, we address this limitation by formulating the problem as an optimal transport problem that aims to find an optimal inter-graph node matching strategy considering the interactions between graph structures and signals. To solve this problem, we propose a novel graph mixup algorithm called FGWMixup, which seeks a midpoint of source graphs in the Fused Gromov-Wasserstein (FGW) metric space. To enhance the scalability of our method, we introduce a relaxed FGW solver that accelerates FGWMixup by improving the convergence rate from $\mathcal{O}(t^{-1})$ to $\mathcal{O}(t^{-2})$. Extensive experiments conducted on five datasets using both classic (MPNNs) and advanced (Graphormers) GNN backbones demonstrate that FGWMixup effectively improves the generalizability and robustness of GNNs. Codes are available at https://github.com/ArthurLeoM/FGWMixup.

研究の動機と目的

• 既存のグラフデータ拡張手法がグラフ構造とノード信号を独立して扱い、それらの共同相互作用を無視するという制限を是正すること。
• グラフミックスアップを、グラフ構造空間とノード信号空間の両方を統合的に考慮する最適輸送問題として定式化すること。
• FGW距離空間における「中間点」グラフを特定するスケーラブルなFGWベースのミックスアップ手法を開発し、構造的・信号的整合性を保持すること。
• 収束速度をO(t⁻¹)からO(t⁻²)に改善する緩和されたミラー降下法を用いてFGWソルバーを高速化すること。
• OGBを含む多様なGNNアーキテクチャおよびベンチマークデータセットにおいて、FGWMixupの有効性を実験的に検証すること。

提案手法

• Fused Gromov-Wasserstein (FGW) 距離空間における最適輸送問題としてグラフミックスアップを定式化し、グラフ構造とノード信号を統合的にモデル化する。
• 拡張されたグラフを、元のグラフの重み付き平均として定義し、源分布と標的分布間の輸送コストをFGW空間で最小化する。
• 単体制約を別々の行および列の単体制約に分解することで、ポリトープ制約を緩和したFGWソルバーを導入し、交互にミラー降下を実行可能にする。
• 収束性と安定性を保証するため、有界な勾配近似を採用し、スケーラビリティを向上させる。
• 古典的なMPNN（例：GCN、GIN）および先進的なモデル（例：Graphormer）を対象として、グラフレベル分類に本手法を適用する。
• 混合係数にパラメータk=0.2のベータ分布を用い、感度分析を通じて妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張においてグラフ構造とノード信号の共同モデリングが、GNNの一般化性能とロバスティシティを向上させ得るか？
• RQ2 FGWMixupは、ifMixup や G-Mixup などの既存のミックスアップ手法と比較して、性能および効率面で優れているか？
• RQ3 緩和されたFGWソルバーは、近似品質を損なわずに、FGWベースのミックスアップのスケーラビリティを顕著に向上させ得るか？
• RQ4 FGWMixupは、OGBベンチマークを含む多様なGNNバックボーンおよびグラフデータセットにおいても性能を維持できるか？
• RQ5 ミックスアッププロセスにおけるベータ分布のパラメータkの選択は、FGWMixupの性能にどれほど感受性を示すか？

主な発見

• FGWMixupは、PROTEINS、NCI1、ogbg-molhiv、ogbg-molbaceを含む5つのベンチマークデータセットにおいて、MPNNおよびGraphormerバックボーンの両方で最先端の性能を達成した。
• ogbg-molhivでは、vGCNとvGINのそれぞれに対して、vanilla GNNと比較してAUROCが2.69%および3.46%相対的に向上した。
• ogbg-molbaceでは、vGCNとvGINのそれぞれに対して、1.14%および8.86%の相対的向上を達成し、分散が顕著に低減された。
• 緩和されたFGWソルバーにより、PROTEINSデータセットにおけるミックスアップ推論時間がG-Mixup+GWの2523.78秒から394.57秒に短縮され、6.4倍の高速化が達成された。FGWMixup ∗ はさらに394.57秒に維持された。
• 感度分析の結果、Beta(0.2,0.2)が全体的に最良の性能を示したが、最適なkはデータセットやバックボーンによってわずかに異なることが判明した。
• FGWMixupは一貫してモデルの分散を低減し、ノイズや摂動に対して強い耐性を示し、ロバスティシティを顕著に向上させた。