[논문 리뷰] Gromov-Wasserstein Learning for Graph Matching and Node Embedding

Hongteng Xu, Dixin Luo외 2명|arXiv (Cornell University)|2019. 01. 17.

Advanced Graph Neural Networks참고 문헌 51인용 수 88

한 줄 요약

본 논문은 Gromov-Wasserstein Learning을 도입하여 그래프를 공동으로 매칭하고 그래프 간 노드 임베딩을 학습하며, 규제된 GW 불일치를 최소화하는 문제를 근접점 방법으로 해결한다.

ABSTRACT

A novel Gromov-Wasserstein learning framework is proposed to jointly match (align) graphs and learn embedding vectors for the associated graph nodes. Using Gromov-Wasserstein discrepancy, we measure the dissimilarity between two graphs and find their correspondence, according to the learned optimal transport. The node embeddings associated with the two graphs are learned under the guidance of the optimal transport, the distance of which not only reflects the topological structure of each graph but also yields the correspondence across the graphs. These two learning steps are mutually-beneficial, and are unified here by minimizing the Gromov-Wasserstein discrepancy with structural regularizers. This framework leads to an optimization problem that is solved by a proximal point method. We apply the proposed method to matching problems in real-world networks, and demonstrate its superior performance compared to alternative approaches.

연구 동기 및 목표

• 그래프에 노이즈가 많거나 불완전할 때 견고한 그래프 매칭을 동기화하여 달성한다.
• 노드 임베딩과 교차 그래프 운송 계획을 공동으로 학습하여 정렬을 안내한다.
• 구조적 정규화 항을 갖춘 Gromov-Wasserstein 불일치를 통해 그래프 매칭과 임베딩 학습을 통합한다.

제안 방법

• 두 그래프에 대한 GW 불일치를 데이터로부터 얻은 거리 행렬과 임베딩으로 정의한다.
• C_s 및 C_t를 데이터 기반 거리와 임베딩 기반 거리를 혼합한 혼합 형태로 구성한다 (C_k(X_k) = (1-α)C_k + αK(X_k,X_k)).
• K(X_s,X_t)를 통해 임베딩 간의 Wasserstein 불일치를 그래프 간에 도입한다.
• 임베딩을 R(X_s,X_t)로 사전 일관성 손실로 규제한다.
• KL-발산과의 근접 포인트 방법으로 T(최적 운송)와 X(임베딩)에 대해 교대 최적화를 수행하여 비볼록 문제를 해결한다( Sinkhorn-등가 단계).
• 초기화 일정에서 외부 반복이 진행될수록 α를 증가시키도록 설정하여 공동 학습의 안정성을 높인다.

실험 결과

연구 질문

• RQ1 GW 불일치를 사용해 두 그래프를 공동으로 정렬하고 교차 그래프 노드 임베딩을 학습할 수 있는가?
• RQ2 임베딩 기반 거리와 규제 항을 도입하면 데이터만 GW 매칭과 비교해 노이즈/부분 그래프에 대한 강건성이 향상되는가?
• RQ3 제안된 근접 포인트 최적화로 운송 및 임베딩 학습의 효과성과 안정성은 어떠한가?
• RQ4 합성 및 실제 네트워크에서 제시된 방법이 기존의 최첨단 그래프 매칭 방식과 비교해 확장성과 성능은 어떠한가?

주요 결과

방법	희소(Call->Email)	밀집(Call->Email)	노드 정확도 (%) (희소)	노드 정확도 (%) (밀집)
GAA	34.22	0.53	-	-
LRSA	38.20	2.93	-	-
TAME	37.39	2.67	-	-
GRAAL	39.67	0.48	-	-
MI-GRAAL	35.53	0.64	-	-
MAGNA++	7.88	0.09	-	-
HugAlign	36.21	3.86	-	-
NETAL	36.87	1.77	-	-
GWD	23.16 ± 0.46	1.77 ± 0.22	-	-
GWL-R	39.64 ± 0.57	3.80 ± 0.23	-	-
GWL-C	40.45 ± 0.53	4.23 ± 0.27	-	-

• 본 방법은 동일한 출발 그래프/목적 그래프에서 노드 정확도가 거의 100%에 이르고 합성 테스트에서 GW 불일치가 0에 근접한다.
• 임베딩 인식 GWL (GWL-C, GWL-R)은 데이터 전용 GW 매칭(GWD)보다 특히 잡음이 더 많을 때 성능이 우수하다.
• MC3 통신 네트워크 데이터셋에서 GWL 변형은 희소 및 밀집 그래프 모두에서 경쟁 그래프 매칭 방법들보다 우수하다.
• GWL에서 학습된 임베딩은 그래프 간 공통 매니폴드에 정렬되며 겹치는 임베딩은 매칭된 쌍을 나타낸다.
• 이 방법은 계산 복잡도와 강건성 측면에서 우수하며 GPU에서 병렬 가능한 구성 요소를 갖는다.