[논문 리뷰] Generalized Spectral Clustering via Gromov-Wasserstein Learning

Samir Chowdhury, Tom Needham|arXiv (Cornell University)|2020. 06. 07.

Complex Network Analysis Techniques참고 문헌 52인용 수 13

한 줄 요약

이 논문은 Gromov-Wasserstein 프레임워크 내에서 인접 행렬 대신 열화핵을 사용하는 일반화된 스펙트럴 클러스터링 방법인 스펙트럴 고모보-워셔스타인 러닝(SpecGWL)을 소개한다. 열화핵의 다중 척도성 및 안정성 특성을 활용하여 SpecGWL는 실제 네트워크에서 최신 기술인 GWL을 능가하는 그래프 분할 성능를 달성하며, Fiedler 벡터를 통해 최적 운반 이론과 스펙트럴 클러스터링 간의 새로운 이론적 연결을 수립한다.

ABSTRACT

We establish a bridge between spectral clustering and Gromov-Wasserstein Learning (GWL), a recent optimal transport-based approach to graph partitioning. This connection both explains and improves upon the state-of-the-art performance of GWL. The Gromov-Wasserstein framework provides probabilistic correspondences between nodes of source and target graphs via a quadratic programming relaxation of the node matching problem. Our results utilize and connect the observations that the GW geometric structure remains valid for any rank-2 tensor, in particular the adjacency, distance, and various kernel matrices on graphs, and that the heat kernel outperforms the adjacency matrix in producing stable and informative node correspondences. Using the heat kernel in the GWL framework provides new multiscale graph comparisons without compromising theoretical guarantees, while immediately yielding improved empirical results. A key insight of the GWL framework toward graph partitioning was to compute GW correspondences from a source graph to a template graph with isolated, self-connected nodes. We show that when comparing against a two-node template graph using the heat kernel at the infinite time limit, the resulting partition agrees with the partition produced by the Fiedler vector. This in turn yields a new insight into the k-cut graph partitioning problem through the lens of optimal transport. Our experiments on a range of real-world networks achieve comparable results to, and in many cases outperform, the state-of-the-art achieved by GWL.

연구 동기 및 목표

• Gromov-Wasserstein 러닝(GWL)에서 인접 행렬을 사용하는 데 이론적 근거가 부족한 점을 해결하기 위해, 대체 그래프 표현 방식을 탐색한다.
• GWL 프레임워크 내에서 인접 행렬을 열화핵으로 대체하여 그래프 분할 성능를 향상시킨다.
• 특히 Fiedler 벡터를 통해 SpecGWL과 고전적 스펙트럴 클러스터링 간의 엄밀한 이론적 연결을 수립한다.
• 열화핵 기반의 GW 매칭이 인접 행렬 기반 방법보다 더 안정적이고 구조를 유지하는 노드 대응 관계를 제공한다는 경험적 및 이론적 증거를 제시한다.
• GW 손실의 지형 분석 및 소프트 노드 대응 시각화를 위한 도구를 개발하여, GW 기반 그래프 러닝의 해석 가능성 향상

제안 방법

• GWL 내에서 인접 행렬을 열화핵 행렬로 대체하여, 그래프 상의 다중 척도 확산 과정을 표현한다.
• 열화핵을 관계 데이터로 사용하여 소프트 노드 대응 관계를 설정하는 Gromov-Wasserstein 문제를 제시한다.
• 자기 연결 노드를 가진 두 노드로 구성된 템플릿 그래프를 사용하며, 열화핵의 무한 시간 근처에서 Fiedler 벡터 분할이 복원됨을 보여준다.
• 프레임워크는 기울기 하강법을 사용하여 GW 손실을 최적화하며, 마르코프 체인 샘플링을 통해 에너지 지형을 탐색하고 수렴성 및 국소 최소값을 평가한다.
• 소프트 매칭의 품질을 평가하기 위해 구조 보존 정도를 비교하는 시각화 기법을 도입한다.
• 이론적 분석에는 최적 쌍대성의 희박성 증명과 Fiedler 벡터를 통한 SpecGWL 분할과 스펙트럴 클러스터링 간의 동치성 수립이 포함된다.

실험 결과

연구 질문

• RQ1 Gromov-Wasserstein 프레임워크 내에서 인접 행렬을 열화핵으로 대체할 경우 그래프 분할 성능가 향상되는가?
• RQ2 열화핵의 다중 척도 성질이 노드 대응 학습에서 안정성과 정보성 향상에 기여하는가?
• RQ3 SpecGWL과 고전적 스펙트럴 클러스터링 간에 이론적 연결이 존재하는가, 특히 Fiedler 벡터를 통해?
• RQ4 SpecGWL의 손실 지형은 GWL과 비교해 복잡한 국소 최소값이 적고 수렴 속도가 더 빠른가?
• RQ5 열화핵 기반 매칭이 인접 행렬 기반 매칭보다 전반적인 그래프 구조를 얼마나 잘 유지하는가?

주요 결과

• SpecGWL는 테스트된 모든 실세계 네트워크에서 GWL을 능가하며, 위키백과, EU-이메일, 아마존, 빌리지 데이터셋에서 최고의 AMI 점수를 기록했다.
• 위키백과 데이터셋에서 SpecGWL는 대칭적인 원시 데이터 기준 AMI 0.442를 기록하여 GWL의 0.382를 뛰어넘었으며, 지향 그래프 분할에서 Infomap보다도 뛰어난 성능를 보였다.
• 아마존 데이터셋에서 SpecGWL는 노이즈가 있는 데이터 기준 AMI 0.692를 기록하여 GWL의 0.573를 크게 앞서며, 간선 편향에 대한 강건성을 보였다.
• SpecGWL의 손실 지형은 더 적은 가짜 국소 최소값을 보이며, 기울기 하강법에서 GWL 대비 10배 빠른 수렴 속도를 보였다.
• 시각화 결과는 열화핵 기반 매칭이 인접 행렬 기반 매칭보다 전반적인 그래프 구조를 더 충실하게 유지함을 확인했다.
• 이론적으로, 열화핵을 통한 무한 시간 근처에서 SpecGWL의 분할은 정확히 Fiedler 벡터 분할을 복원하며, 최적 운반 이론과 스펙트럴 클러스터링 간의 직접적인 연결을 수립했다.