[논문 리뷰] Fused Gromov-Wasserstein Graph Mixup for Graph-level Classifications

Xinyu Ma, Xu Chu외 5명|arXiv (Cornell University)|2023. 06. 28.

Advanced Graph Neural NetworksComputer Science인용 수 3

한 줄 요약

이 논문은 Fused Gromov-Wasserstein (FGW) 최적 운반 이론을 통해 그래프 구조와 노드 신호 간의 상호작용을 통합적으로 모델링하는 새로운 그래프 미스업 방법인 FGWMixup을 제안한다. 이는 더 강건하고 일반화 능력이 뛰어난 그래프 수준 표현을 생성하기 위해 설계되었다. FGW 거리 공간 내에서 소스 그래프 간의 최적의 상호 대응 전략을 해결하고, 이에 대해 느슨한 미러 강하 방법을 활용해 해법을 가속화함으로써, 다양한 GNN 백본과 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 일반화 능력과 강건성 향상에 크게 기여한다.

ABSTRACT

Graph data augmentation has shown superiority in enhancing generalizability and robustness of GNNs in graph-level classifications. However, existing methods primarily focus on the augmentation in the graph signal space and the graph structure space independently, neglecting the joint interaction between them. In this paper, we address this limitation by formulating the problem as an optimal transport problem that aims to find an optimal inter-graph node matching strategy considering the interactions between graph structures and signals. To solve this problem, we propose a novel graph mixup algorithm called FGWMixup, which seeks a midpoint of source graphs in the Fused Gromov-Wasserstein (FGW) metric space. To enhance the scalability of our method, we introduce a relaxed FGW solver that accelerates FGWMixup by improving the convergence rate from $\mathcal{O}(t^{-1})$ to $\mathcal{O}(t^{-2})$. Extensive experiments conducted on five datasets using both classic (MPNNs) and advanced (Graphormers) GNN backbones demonstrate that FGWMixup effectively improves the generalizability and robustness of GNNs. Codes are available at https://github.com/ArthurLeoM/FGWMixup.

연구 동기 및 목표

• 기존 그래프 데이터 증강 방법이 그래프 구조와 노드 신호를 별개로 다루며, 이들의 공동 상호작용을 간과한다는 한계를 해결하기 위해.
• 그래프 미스업을 그래프 구조와 노드 신호 공간을 함께 고려하는 최적 운반 문제로 재정의하기 위해.
• FGW 거리 공간 내에서 '중간점' 그래프를 찾는 스케일러블한 FGW 기반의 미스업 방법을 개발하여, 구조적 및 신호적 무결성을 유지하기 위해.
• 이완된 미러 강하 방법을 활용해 FGW 해법을 가속화하여 수렴 속도를 O(t⁻¹)에서 O(t⁻²)로 향상시키기 위해.
• 다양한 GNN 아키텍처와 벤치마크 데이터셋(예: OGB 포함)에서 FGWMixup의 효과를 실험적으로 검증하기 위해.

제안 방법

• 그래프 미스업을 Fused Gromov-Wasserstein (FGW) 거리 공간 내 최적 운반 문제로 재구성하여, 그래프 구조와 노드 신호를 동시에 모델링한다.
• 증강된 그래프를 소스 그래프의 가중 평균으로 정의하며, 소스 및 타겟 분포 간 FGW 공간 내 운반 비용을 최소화한다.
• 다각형 제약 조건을 개별 행과 열의 단체 제약 조건으로 분리하여 해방하는 이완된 FGW 해법을 도입함으로써, 번갈아 가며 미러 강하를 수행할 수 있도록 한다.
• 수렴성과 안정성을 확보하기 위해 유계 기울기 근사법을 적용하여 이완된 해법의 스케일러비리티를 향상시킨다.
• 기본적인 MPNNs (예: GCN, GIN) 및 고급 모델들 (예: Graphormer)에 대해 그래프 수준 분류에 적용한다.
• 혼합 계수에 대해 k=0.2로 설정된 베타 분포를 사용하며, 민감도 분 析를 통해 검증하였다.

실험 결과

연구 질문

• RQ1 데이터 증강 과정에서 그래프 구조와 노드 신호를 함께 모델링하면 GNN의 일반화 능력과 강건성이 향상되는가?
• RQ2 기존의 미스업 방법들(예: ifMixup, G-Mixup)과 비교해 FGWMixup는 성능과 효율성 면에서 어떻게 다른가?
• RQ3 이완된 FGW 해법은 근사 정확도를 손상시키지 않은 채 FGW 기반의 미스업의 스케일러비리를 크게 향상시킬 수 있는가?
• RQ4 FGWMixup는 OGB 벤치마크를 포함한 다양한 GNN 백본과 그래프 데이터셋에서 성능을 유지하는가?
• RQ5 미스업 과정에서 베타 분포의 매개변수 k 선택에 대해 FGWMixup는 얼마나 민감한가?

주요 결과

• FGWMixup는 MPNN 및 Graphormer 백본을 모두 활용해 다섯 가지 벤치마크 데이터셋(PROTEINS, NCI1, ogbg-molhiv, ogbg-molbace 포함)에서 최신 기술 수준의 성능을 달성한다.
• ogbg-molhiv에서, vGCN와 vGIN에 대해 각각 2.69% 및 3.46%의 상대적 AUROC 향상을 기록한다.
• ogbg-molbace에서, vGCN와 vGIN에 대해 각각 1.14% 및 8.86%의 상대적 향상을 기록하며, 분산이 크게 감소하였다.
• 이완된 FGW 해법을 통해 PROTEINS에서 미스업 추론 시간을 G-Mixup+GW의 2523.78초에서 394.57초로 단축시켜 6.4배의 속도 향상을 달성하였으며, FGWMixup ∗는 이 값을 유지하였다.
• 민감도 분석 결과, Beta(0.2,0.2)가 전체적으로 최고의 성능을 보였지만, 최적의 k 값은 데이터셋 및 백본에 따라 약간의 차이를 보였다.
• FGWMixup는 일관되게 모델의 분산을 감소시키고 강건성을 향상시켜, 데이터 노이즈 및 변형에 대해 강력한 저항성을 보였다.