[논문 리뷰] Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching

Hongteng Xu, Dixin Luo외 1명|arXiv (Cornell University)|2019. 05. 18.

Advanced Graph Neural Networks참고 문헌 54인용 수 35

한 줄 요약

S-GWL을 제안하는 확장 가능한 프레임워크로, Gromov-Wasserstein discrepancy (GW)를 이용하여 그래프 분할과 매칭을 통합하고 가속하며, GW barycenters를 통한 다중 그래프 분석을 포함한다.

ABSTRACT

We propose a scalable Gromov-Wasserstein learning (S-GWL) method and establish a novel and theoretically-supported paradigm for large-scale graph analysis. The proposed method is based on the fact that Gromov-Wasserstein discrepancy is a pseudometric on graphs. Given two graphs, the optimal transport associated with their Gromov-Wasserstein discrepancy provides the correspondence between their nodes and achieves graph matching. When one of the graphs has isolated but self-connected nodes ($i.e.$, a disconnected graph), the optimal transport indicates the clustering structure of the other graph and achieves graph partitioning. Using this concept, we extend our method to multi-graph partitioning and matching by learning a Gromov-Wasserstein barycenter graph for multiple observed graphs; the barycenter graph plays the role of the disconnected graph, and since it is learned, so is the clustering. Our method combines a recursive $K$-partition mechanism with a regularized proximal gradient algorithm, whose time complexity is $\mathcal{O}(K(E+V)\log_K V)$ for graphs with $V$ nodes and $E$ edges. To our knowledge, our method is the first attempt to make Gromov-Wasserstein discrepancy applicable to large-scale graph analysis and unify graph partitioning and matching into the same framework. It outperforms state-of-the-art graph partitioning and matching methods, achieving a trade-off between accuracy and efficiency.

연구 동기 및 목표

• 그래프 분할과 매칭 모두를 위한 단일한 GW 기반 접근법의 필요성에 대한 동기를 제시한다.
• 대형 그래프에 GW 차이를 적용하기 위한 확장 가능한 알고리즘을 개발한다.
• 복잡도를 줄이기 위한 재귀적 K-분할 전략을 도입한다.
• 계산을 가속하기 위해 희소성을 갖는 정규화된 근사 경사법( proximal gradient method)을 도입한다.
• GW barycenters를 통해 다중 그래프 분할 및 매칭을 가능하게 한다.

제안 방법

• GW discrepancy를 그래프 간의 거리(유사도)로서의 의사측정치로 활용하고 최적 수송을 통해 노드 대응 또는 분할을 얻는다.
• 그래프 분할을 G와 G_dc의 비교로 형식화하며, G_dc는 연결되지 않은 K-노드 그래프이며, 이를 통해 K-웨이(partition) 분할을 얻는다.
• GW barycenter GWB를 사용하여 관측 그래프에 대해 가중 GW 차이를 최소화하는 다중 그래프 분석으로 확장한다.
• Sinkhorn 기반 솔버와 KL 근사 용어를 사용한 정규화된 근사 경사법(p=2)을 적용하여 d_gw를 효율적으로 계산한다.
• 노드 분포 기반의 사전정보(priors)와 노드 정합 비용을 도입하여 topology-aware 매칭으로 수송을 안내한다.
• 큰 그래프를 더 작은 하위 그래프로 분해하고 로컬 GW 매칭을 수행하는 재귀적 K-분할 메커니즘을 도입하여 전체 복잡도를 O(K(E+V) log_K V)로 감소시킨다.

실험 결과

연구 질문

• RQ1 GW 차이가 그래프 분할과 그래프 매칭을 단일 최적화 프레임워크로 통합하는 데 사용될 수 있는가?
• RQ2 정확성을 유지하면서 대형 그래프에 GW 계산을 어떻게 확장할 수 있는가?
• RQ3 학습된 GW barycenter가 강인한 다중 그래프 매칭 및 분할을 가능하게 하는가?
• RQ4 재귀적 K-분할 전략이 매칭/분할 품질을 희생하지 않으면서 실행 시간을 크게 줄이는가?
• RQ5 GW 기반 그래프 분석의 안정성과 성능을 향상시키는 사전정보나 정규화는 무엇인가?

주요 결과

• S-GWL은 시간 복잡도 O(K(E+V) log_K V) 및 메모리 O(E+VK)로 확장 가능한 그래프 분할 및 매칭을 달성한다.
• GW discrepancy는 노드 대응을 최적 수송을 통해 분할에 연결하는 자연스러운 관계형 의사측정치로 작용한다.
• GW barycenter를 학습하면 그래프 간 클러스터를 일관되게 정렬하여 다중 그래프 매칭 및 분할을 가능하게 한다.
• 정규화된 근사 경사법과 KL항은 엔트로피 기반 방법에 비해 수렴성과 수치 안정성을 향상시킨다.
• 실험적으로 S-GWL와 GWL은 합성 및 실제 네트워크에서 정확도 및/또는 효율성 측면에서 최첨단 기법을 능가하며, S-GWL은 GWL을 크게 가속한다는 것을 보여준다.
• 이 방법은 합성 Gaussian/바라바시–알버트 그래프 및 실제 네트워크(PPI 및 조직 커뮤니케이션 데이터 포함)에 적용해도 효과적이다.