[논문 리뷰] A contribution to Optimal Transport on incomparable spaces

Titouan Vayer|arXiv (Cornell University)|2020. 11. 09.

Topological and Geometric Data Analysis참고 문헌 235인용 수 6

한 줄 요약

이 학위논문은 데이터가 서로 다른 또는 비이sov메트릭 거리 공간에 존재하는 비비교 가능한 공간에서 최적 운반을 위한 새로운 프레임워크를 제안한다. 이는 그로모프-워서르스타인 거리와 연관성 정규화를 활용하며, 그래프, 시간 시리즈, 구조화된 데이터와 같은 이질적 도메인에서 의미 있는 분포 비교 및 정렬을 가능하게 하며, 이론적 보장과 도메인 적응 및 표현 학습 과제에서의 실증적 검증을 제공한다.

ABSTRACT

Optimal Transport is a theory that allows to define geometrical notions of distance between probability distributions and to find correspondences, relationships, between sets of points. Many machine learning applications are derived from this theory, at the frontier between mathematics and optimization. This thesis proposes to study the complex scenario in which the different data belong to incomparable spaces. In particular we address the following questions: how to define and apply Optimal Transport between graphs, between structured data? How can it be adapted when the data are varied and not embedded in the same metric space? This thesis proposes a set of Optimal Transport tools for these different cases. An important part is notably devoted to the study of the Gromov-Wasserstein distance whose properties allow to define interesting transport problems on incomparable spaces. More broadly, we analyze the mathematical properties of the various proposed tools, we establish algorithmic solutions to compute them and we study their applicability in numerous machine learning scenarii which cover, in particular, classification, simplification, partitioning of structured data, as well as heterogeneous domain adaptation.

연구 동기 및 목표

• 그래프, 트리, 시간 시리즈와 같은 비이sov메트릭 또는 비비교 가능한 메트릭 공간에서의 데이터를 다룰 때 고전적 최적 운반의 한계를 해결한다.
• 기본 샘플이 공통된 메트릭 공간을 공유하지 않을 경우에도 확률 분포 간의 의미 있는 비교 및 정렬을 가능하게 한다.
• 이질적 도메인에서 최적 운반을 위한 이론적으로 타당하고 계산적으로 실현 가능한 방법을 개발한다.
• 최적 운반에 구조적 관계를 유지하는 관계적 인덕티브 바이어스를 통합한다.
• 특히 도메인 적응 및 표현 학습 분야에서 실생활 기계 학습 응용에서의 효과성을 입증한다.

제안 방법

• 지점의 위치가 아닌 지점 간 거리 기반으로 분포를 비교하는 그로모프-워서르스타인 기반 최적 운반 공식을 제안한다.
• 운반 학습 중 구조적 관계(예: 그래프 간선, 시간적 의존성)를 유지하기 위한 연관성 정규화 항을 도입한다.
• 공동 커플링에 대한 제약 조건이 있는 최적화 문제로 문제를 공식화하며, 그로모프-워서르스타인 거리와 연관성 일관성을 결합한 비용 함수를 최소화한다.
• 엔트로픽 정규화를 사용하여 싱크호른 알고리즘을 통해 확장 가능한 계산을 가능하게 하여 대규모 데이터에서의 타당성을 확보한다.
• 도메인 적응과 같은 과제에서 엔드 투 엔드 훈련을 위해 기계 학습 파이프라인에 통합된 미분 가능 레이어를 활용한다.
• 비비교 가능한 공간에서의 분포 간 거리의 일반화된 개념을 최적의 커플링을 통해 구조적 유사도를 측정함으로써 정의한다.

실험 결과

연구 질문

• RQ1 그래프나 시간 시리즈와 같은 비비교 가능한 메트릭 공간에 정의된 분포에 대해 최적 운반을 어떻게 의미 있게 확장할 수 있는가?
• RQ2 지점 간의 거리가 존재하지 않거나 의미가 없을 경우, 연관성 인덕티브 바이어스는 운반 품질 향상에 어떤 역할을 하는가?
• RQ3 딥 러닝 파이프라인에서 사용 가능한 확장 가능하고 미분 가능한 그로모프-워서르스타인 운반은 어떻게 구현할 수 있는가?
• RQ4 제안된 프레임워크는 이질적 데이터에서 기존 방법과 비교해 도메인 적응 및 표현 학습 과제에서 어떻게 성능을 냈는가?
• RQ5 소음에 대한 안정성과 수렴성 측면에서 제안된 운반 프레임워크의 이론적 성질은 무엇인가?

주요 결과

• 제안된 프레임워크는 공간 좌표가 아닌 구조적 거리에 초점을 맞춤으로써, 그래프나 시간 시리즈와 같은 비비교 가능한 공간 간의 최적 운반을 성공적으로 가능하게 한다.
• 연관성 정규화는 지점 간 대응관계가 없거나 모호할 경우 도메인 적응 과제에서 정렬 품질을 크게 향상시킨다.
• 실증 결과는 이 방법이 이질적 도메인 적응 벤치마크에서 최고 성능을 기록하며, 표준 최적 운반 및 GAN 기반 베이스라인을 능가함을 보여준다.
• 엔트로픽 정규화를 사용함으로써 싱크호른 알고리즘을 통해 효율적인 계산이 가능해져 대규모 데이터셋에서도 확장 가능해졌다.
• 그래프 및 시간 시리즈 데이터에서의 검증을 통해 분포 이동에 대한 강건성과 도메인 간 구조 일관성이 유지됨을 입증하였다.
• 이론적 분석을 통해 그로모프-워서르스타인 거리가 소음에 대해 안정적이며 실생활 기계 학습 응용에서의 사용에 적합함을 확인하였다.