[논문 리뷰] Fused Gromov-Wasserstein distance for structured objects: theoretical foundations and mathematical properties

Titouan Vayer, Laëtitia Chapel외 3명|arXiv (Cornell University)|2018. 11. 07.

Markov Chains and Monte Carlo Methods참고 문헌 30인용 수 22

한 줄 요약

이 논문은 구조적 객체 내의 특징과 구조적 정보를 동시에 모델링하기 위해 워셔슈타인 거리와 그로모프-워셔슈타인 거리를 볼록적인 무게 조정을 통해 조합한 새로운 최적 운반 거리인 Fused Gromov-Wasserstein (FGW) 거리를 소개한다. 주요 기여는 일반 측도 이론적 설정에서 FGW의 거리성, 보간성, 지측선, 농축 성질을 철저히 이론화한 점이며, 이는 그래프 바리센터 및 메시 보간과 같은 응용에 활용된다.

ABSTRACT

Optimal transport theory has recently found many applications in machine learning thanks to its capacity for comparing various machine learning objects considered as distributions. The Kantorovitch formulation, leading to the Wasserstein distance, focuses on the features of the elements of the objects but treat them independently, whereas the Gromov-Wasserstein distance focuses only on the relations between the elements, depicting the structure of the object, yet discarding its features. In this paper we propose to extend these distances in order to encode simultaneously both the feature and structure informations, resulting in the Fused Gromov-Wasserstein distance. We develop the mathematical framework for this novel distance, prove its metric and interpolation properties and provide a concentration result for the convergence of finite samples. We also illustrate and interpret its use in various contexts where structured objects are involved.

연구 동기 및 목표

• 구조적 객체 내의 특징과 구조적 정보를 동시에 코딩할 수 있는 통합된 최적 운반 프레임워크를 개발하는 것.
• 일반 측도 이론적 설정에서 Fused Gromov-Wasserstein (FGW) 거리의 이론적 기초를 확립하는 것.
• FGW가 대칭성, 동일성의 원리, 삼각 부등식과 같은 주요 수학적 성질을 만족함을 증명하는 것.
• 유한 표본 추정에 대한 수렴을 보장하는 농축 부등식을 제공하는 것.
• 그래프 바리센터 계산 및 메시 보간과 같은 구조적 데이터를 포함한 실용적 응용에서 FGW의 유용성을 입증하는 것.

제안 방법

• 특징 공간과 구조 공간 위의 결합 확률 측도로 구조적 객체를 수학적으로 정의함으로써, 속성과 관계적 구조를 동시에 모델링할 수 있도록 하는 것.
• FGW 거리를 워셔슈타인 거리와 그로모프-워셔슈타인 거리 비용의 볼록 조합으로 정의하며, 무게 조정 계수 α ∈ (0,1)로 파arameter화하는 것.
• 확률 측도 간의 커플링에 대한 공동 비용 함수를 최소화하는 최적 운반 공식을 통해 FGW 거리를 수립하는 것.
• 적절한 조건 하에서 FGW 거리가 구조적 객체 공간에서 거리의 성질을 만족함을 증명함(대칭성, 동일성의 원리, 삼각 부등식 포함).
• α가 1에서 0으로 변화함에 따라 FGW 거리가 워셔슈타인 거리와 그로모프-워셔슈타인 거리 사이를 연속적으로 보간함을 보여주는 것.
• 최적 커플링을 사용하여 구조적 객체 간의 일정 속도 지측선을 구성하고, 그 유일성과 기저 거리 구조와의 동치성을 증명하는 것.

실험 결과

연구 질문

• RQ1 구조적 객체 내의 특징과 구조적 정보를 동시에 모델링할 수 있는 단일 최적 운반 거리를 구성할 수 있는가?
• RQ2 Fused Gromov-Wasserstein 거리는 구조적 확률 측도 공간에서 거리의 공리계를 만족하는가?
• RQ3 무게 조정 계수 α가 변화함에 따라 FGW 거리는 워셔슈타인 거리와 그로모프-워셔슈타인 거리 사이를 어떻게 보간하는가?
• RQ4 제시된 거리 구조 하에서 FGW 프레임워크 내의 지측선은 일정 속도를 가지며 유일한가?
• RQ5 유한 표본 추정 하에서 FGW 거리의 농축 행동은 어떠한가?

주요 결과

• Fused Gromov-Wasserstein 거리는 대칭성, 동일성의 원리, 삼각 부등식을 만족하는 유효한 거리로 증명되었으며, 구조적 객체 공간에서의 거리 성질을 갖는다.
• 무게 조정 계수 α가 1에서 0으로 변화함에 따라 FGW 거리가 워셔슈타인 거리와 그로모프-워셔슈타인 거리 사이를 연속적으로 보간하며, 지측선 분석을 통해 전체 범위의 보간이 확립되었다.
• 어떤 두 구조적 객체 사이에도 일정 속도 지측선이 존재하며, 미약한 정규성 조건 하에서 그 유일성이 보장된다.
• 두 구조적 객체 사이의 지측선 경로는 최적 운반 계획 하에서의 푸시포워드 커플링과 동치이며, 기하학적 구조와 최적 커플링을 연결한다.
• 농축 부등식이 유도되었으며, 이는 표본 크기와 기저 공간의 복잡성에 따라 경험적 FGW 거리가 진짜 거리로 수렴하는 속도를 보장한다.
• FGW 프레임워크는 효과적인 구조적 최적 운반 바리센터 계산을 가능하게 하였으며, 그래프 클러스터링 및 3D 메시 보간 작업에서 이를 실증적으로 입증하였다.