[논문 리뷰] Gromov-Wasserstein Factorization Models for Graph Clustering

Hongteng Xu|arXiv (Cornell University)|2019. 11. 19.

Topological and Geometric Data Analysis참고 문헌 30인용 수 8

한 줄 요약

이 논문은 Gromov-Wasserstein barycenter를 사용하여 가중치를 학습 가능한 원자들로 그래프를 분해하는 새로운 Gromov-Wasserstein Factorization (GWF) 모델을 제안한다. 관측된 그래프와 그들의 바리센터릭 재구성 간의 GW 이질성(GW discrepancy)을 최소화함으로써, 크기와 위상이 다른 비정렬, 이종적인 그래프에 대해 민첩하고 해석 가능한 클러스터링을 가능하게 한다. 이 모델은 PROTEIN 및 IMDB-B 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

We propose a new nonlinear factorization model for graphs that are with topological structures, and optionally, node attributes. This model is based on a pseudometric called Gromov-Wasserstein (GW) discrepancy, which compares graphs in a relational way. It estimates observed graphs as GW barycenters constructed by a set of atoms with different weights. By minimizing the GW discrepancy between each observed graph and its GW barycenter-based estimation, we learn the atoms and their weights associated with the observed graphs. The model achieves a novel and flexible factorization mechanism under GW discrepancy, in which both the observed graphs and the learnable atoms can be unaligned and with different sizes. We design an effective approximate algorithm for learning this Gromov-Wasserstein factorization (GWF) model, unrolling loopy computations as stacked modules and computing gradients with backpropagation. The stacked modules can be with two different architectures, which correspond to the proximal point algorithm (PPA) and Bregman alternating direction method of multipliers (BADMM), respectively. Experiments show that our model obtains encouraging results on clustering graphs.

연구 동기 및 목표

• 크기와 위상이 다른 비정렬, 이종적인 그래프를 다룰 수 있는, 구조적 데이터(예: 그래프)를 위한 분해 모델을 개발하는 것.
• 기존의 벡터화된 데이터를 초월해, Gromov-Wasserstein 이질성을 사용한 관계 기반, 의사거리 기반 프레임워크를 도입함으로써 전통적 분해 모델을 확장하는 것.
• 명시적인 원자와 계수를 통해 그래프 임베딩의 해석 가능성을 향상시켜, 블랙박스 그래프 신경망에 비해 모델의 해석 가능성을 높이는 것.
• 비볼록성과 반복적 계산의 특성을 지닌 GW 계산에 비추어, 비가역적이고 미분 가능한 학습 알고리즘을 설계하는 것.
• 기본 데이터셋에서 그래프 클러스터링 및 분류 작업에서 모델의 우수성을 입증하는 것.

제안 방법

• 모델은 각 그래프를 인접 행렬과 선택적으로 노드 속성으로 표현하며, 노드들은 단형형(simplex)에 균일하게 분포되어 있다.
• 그래프 재구성을 Gromov-Wasserstein 바리센터르 문제로 공식화하여, 관측된 그래프를 학습된 원자들의 가중 조합으로 근사한다.
• 목적 함수는 각 관측된 그래프와 그 바리센터릭 재구성 간의 GW 이질성을 최소화하며, 원자와 계수를 학습 가능한 파라미터로 사용한다.
• 반복적인 GW 계산을 스택형 모듈로 전개하여 근사 학습 알고리즘을 개발하였으며, 랩소디 정리(Envelope Theorem)를 통해 역전파(backpropagation)를 가능하게 하였다.
• 이 알고리즘은 두 가지 아키텍처로 구현되었으며, 각각 프록시멀 포인트 알고리즘(PPA)과 Bregman ADMM(BADMM)이며, 모두 엔드 투 엔드 학습을 지원한다.
• 모델은 속성 유무에 관계없이 모든 그래프와 호환되며, O(LKI) 복잡도 덕분에 대규모 클러스터링에 적합하다.

실험 결과

연구 질문

• RQ1 비정렬이고 크기가 다른 그래프일지라도, 공유 원자들과 해석 가능한 계수로 그래프를 명시적으로 분해할 수 있는 분해 모델을 설계할 수 있는가?
• RQ2 Gromov-Wasserstein 이질성은 분해 프레임워크 내에서 관계 기반 그래프 비교를 위한 의미 있는 의사거리로 기능할 수 있는가?
• RQ3 GW 계산의 비볼록성과 반복적 성격에도 불구하고, GW 기반 분해를 위한 엔드 투 엔드, 역전파 가능한 학습 알고리즘을 구성할 수 있는가?
• RQ4 제안된 GWF 모델은 기준 데이터셋에서 기존의 그래프 클러스터링 및 분류 방법을 초월하는가?
• RQ5 PPA와 BADMM 구현은 GWF 모델의 수렴성, 정확도, 런타임 측면에서 어떻게 비교되는가?

주요 결과

• PPA 기반 GWF 모델은 AIDS 데이터셋에서 99.5%의 클러스터링 정확도를 달성하여, 다음으로 우수한 방법인 FGWK(91.0%)를 크게 앞서 간다.
• PROTEIN 데이터셋에서 PPA 기반 GWF는 분류 작업에서 70.7%의 정확도를 기록하며, FGWK(75.1%)를 초월하고, 클러스터링 작업에서 GWB-KM(64.7%)를 앞선다.
• BADMM 기반 GWF 모델은 PROTEIN에서 69.3%의 클러스터링 정확도를 기록하여, GWB-KM(62.9%)를 능가하고 FGWK 성능에 근접한다.
• GWF 모델은 FGWK에 비해 여러 시행에서 더 작은 표준편차를 보이며, 우수한 안정성을 확보한다.
• GWF 모델의 O(LKI) 복잡도는 FGWK의 O(I²) 복잡도에 비해 대규모 그래프에 대해 더 우수한 확장성을 보이며, 스케일업에 유리하다.
• t-SNE 시각화 결과는 학습된 그래프 임베딩이 네 개의 데이터셋 모두에서 기저의 클러스터링 구조를 효과적으로 포착하고 있음을 확인한다.