[논문 리뷰] Optimal Transport for structured data with application on graphs

Titouan Vayer, Laëtitia Chapel외 3명|arXiv (Cornell University)|2018. 05. 23.

Complexity and Algorithms in Graphs인용 수 141

한 줄 요약

FGW 거리(Fused Gromov-Wasserstein) 를 도입하여 구조화된 데이터(그래프)를 특징과 구조를 공동으로 고려하여 비교하고, 최첨단 그래프 분류 및 바리센터 계산을 시연한다. Wasserstein와 Gromov-Wasserstein를 하나의 프레임워크로 통일한다.

ABSTRACT

This work considers the problem of computing distances between structured objects such as undirected graphs, seen as probability distributions in a specific metric space. We consider a new transportation distance (i.e. that minimizes a total cost of transporting probability masses) that unveils the geometric nature of the structured objects space. Unlike Wasserstein or Gromov-Wasserstein metrics that focus solely and respectively on features (by considering a metric in the feature space) or structure (by seeing structure as a metric space), our new distance exploits jointly both information, and is consequently called Fused Gromov-Wasserstein (FGW). After discussing its properties and computational aspects, we show results on a graph classification task, where our method outperforms both graph kernels and deep graph convolutional networks. Exploiting further on the metric properties of FGW, interesting geometric objects such as Fréchet means or barycenters of graphs are illustrated and discussed in a clustering context.

연구 동기 및 목표

• 특징/구조 공간 위의 확률 측정치로 구조화된 데이터(예: 그래프)를 비교하는 문제를 동기 부여하고 형식화한다.
• 특징 유사성과 구조적 유사성을 최적 운송에서 융합하는 FGW 거리를 제안한다.
• FGW 를 계산하는 알고리즘을 개발한다( q=2에 대한 CG, 선 탐색, 바리센터에 대한 BCD) 및 그 특성을 분석한다.
• 그래프 분류 벤치마크와 비지도 그래프 클러스터링/바리센터 응용에서 FGW를 시연한다.

제안 방법

• 그래프를 특징과 구조의 곱 공간에 대한 확률 측정으로 표현한다: μ = sum h_i δ_(x_i,a_i).
• 그래프 히스토그램을 맞추면서 질량을 그래프 간에 운송하는 커플링 집합 Π(h,g) 을 정의한다.
• 특징 운송 비용과 내부/외부 구조 거리들을 α의 트레이드오프를 통해 결합하는 FGW 비용 E_q 를 도입한다.
• FGW 가 Wasserstein(α→0)와 Gromov-Wasserstein(α→1) 사이를 보간하고 q=1일 때는 메트릭, q>1일 때는 준-메트릭임을 보인다.
• 최적화 절차를 제시: (i) q=2에 대한 gradient 및 OT 부분문제를 갖는 CG 알고리즘, (ii) 스텝 크기에 대한 선 탐색, (iii) C와 A에 대한 closed-form 업데이트를 갖는 FGW 바리센터용 BCD.
• 확장성 메모와 딥러닝 및 더 큰 그래프에 대한 확장 가능성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 특징과 구조를 공동으로 고려하는 구조화된 객체(그래프) 간의 거리가 최적 운송을 통해 정의될 수 있는가?
• RQ2 FGW가 Wasserstein 및 Gromov-Wasserstein 거리와 어떤 관계가 있으며 이를 일반화하는가?
• RQ3 이산 그래프에 대해 FGW를 효과적으로 계산할 수 있으며 이를 통해 효과적인 그래프 분류 및 클러스터링이 가능한가?
• RQ4 FGW에서 도출되는 기하학적 객체(예: 바리센터) 는 무엇이며 클러스터링과 분석에 어떻게 활용될 수 있는가?

주요 결과

• FGW는 특징 한계에서 Wasserstein로 수렴하고 구조 한계에서 Gromov-Wasserstein로 수렴하는 구조화된 데이터 간 거리를 제공한다(α 보간).
• FGW는 벡터 값 및 이산 속성에 걸친 다수의 그래프 분류 벤치마크에서 최첨단 또는 경쟁력 있는 정확도를 달성하며 커널과 일부 심층 방법을 능가하는 경우가 많다.
• FGW는 의미 있는 그래프 바리센터(Fréchet 평균)을 지원하여 클러스터링을 가능하게 하고 클러스터의 대표 그래프를 드러낸다.
• FGW는 특정 조건에서 q=1일 때 메트릭이고 q>1일 때 준메트릭으로, 기하학적 해석(예: 기하좌표, 바리센터)을 가능하게 한다.
• 본 논문은 그래프에 대해 감독학습(분류)와 비지도학습(클러스터링/바리센터) 작업 둘 다에 대한 FGW의 유용성을 시연한다.