[논문 리뷰] Linear Optimal Transport Embedding: Provable fast Wasserstein distance computation and classification for nonlinear problems.

Caroline Moosmüller, Alexander Cloninger|arXiv (Cornell University)|2020. 08. 20.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 확률 분포를 기준 분포로의 최적 운반을 통해 L² 공간에 매핑하는 선형 최적 운반(LOT) 임bedding을 소개한다. 이를 통해 워셔슈타인-2 거리의 빠른 계산과 분포 가족의 선형 가분성을 가능하게 한다. 주요 기여는 LOT가 워셔슈타인-2 거리를 거의 등거리로 유지함을 증명한 것으로, N²개의 쌍별 거리 계산을 N개의 최적 운반 매핑으로 줄인다.

ABSTRACT

Discriminating between distributions is an important problem in a number of scientific fields. This motivated the introduction of Linear Optimal Transportation (LOT), which embeds the space of distributions into an $L^2$-space. The transform is defined by computing the optimal transport of each distribution to a fixed reference distribution, and has a number of benefits when it comes to speed of computation and to determining classification boundaries. In this paper, we characterize a number of settings in which LOT embeds families of distributions into a space in which they are linearly separable. This is true in arbitrary dimension, and for families of distributions generated through perturbations of shifts and scalings of a fixed distribution. We also prove conditions under which the $L^2$ distance of the LOT embedding between two distributions in arbitrary dimension is nearly isometric to Wasserstein-2 distance between those distributions. This is of significant computational benefit, as one must only compute $N$ optimal transport maps to define the $N^2$ pairwise distances between $N$ distributions. We demonstrate the benefits of LOT on a number of distribution classification problems.

연구 동기 및 목표

• 최적 운반을 이용한 확률 분포 비교를 위한 계산 효율적인 방법을 개발하기 위해.
• 분류 성능 향상을 위해 L²-임bedded 공간에서 분포 가족의 선형 가분성을 가능하게 하기 위해.
• LOT 임bedding의 L² 거리가 워셔슈타인-2 거리를 근사할 수 있는 이론적 조건을 설정하기 위해.
• N개의 분포에 대해 쌍별 분포 비교의 계산 비용을 O(N²)에서 O(N)의 운반 매핑으로 줄이기 위해.

제안 방법

• 각 분포를 고정된 기준 분포로의 최적 운반 매핑을 계산하여 L² 공간에 임bedding한다.
• 최적 운반 매핑의 구조를 활용하여 워셔슈타인 공간의 기하적 성질을 유지하는 선형 임bedding을 정의한다.
• 기본 분포의 이동과 스케일링의 변형을 이용해 분포 가족을 생성하고, 이를 임bedded 공간에서 선형 가분성 가능하게 한다.
• 이론적 분석을 통해 특정 조건 하에서 LOT 임bedding 간의 L² 거리가 워셔슈타인-2 거리를 근사함을 증명한다.
• N²개의 쌍별 거리 계산을 오직 N개의 최적 운반 매핑으로만 사용 가능하게 하여 계산 오버헤드를 크게 감소시킨다.
• 다양한 분포 분류 작업에서 프레임워크를 검증하여 실용적 효과를 입증한다.

실험 결과

연구 질문

• RQ1 LOT 임bedding이 분포 가족에 대해 약간의 왜곡만 허용하면서 워셔슈타인-2 거리를 거의 등거리로 유지하는 조건은 무엇인가?
• RQ2 이동과 스케일링 변형으로 생성된 분포 가족은 LOT-임bedded 공간에서 선형 가분성이 가능해지는가?
• RQ3 LOT-임bedded 공간에서의 L² 거리는 분포 간 진짜 워셔슈타인-2 거리와 어떻게 관련이 있는가?
• RQ4 N개의 분포에 대해 필요한 최적 운반 매핑의 수를 O(N²)에서 O(N)으로 줄일 수 있는가, 동시에 정확한 거리 추정을 유지할 수 있는가?
• RQ5 LOT는 비선형 분포 문제의 분류 성능 향상에 얼마나 기여하는가?

주요 결과

• 분포 가족에 대해 약간의 조건이 충족되면, LOT 임bedding 간의 L² 거리는 워셔슈타인-2 거리를 거의 등거리로 근사한다.
• 이동과 스케일링 변형으로 생성된 분포 가족은 임bedded 공간에서 선형 가분성이 가능해지며, 임의의 차원에서도 성립한다.
• N²개의 쌍별 거리 계산에 필요한 계산 비용을 오직 N개의 최적 운반 매핑으로 줄여, 확장 가능한 분포 비교를 가능하게 한다.
• LOT는 비선형 분포 가족을 선형 가분성 가능한 공간으로 변환함으로써 효과적인 분류를 가능하게 한다.
• 실증 결과는 분포 분류 작업에서 성능 향상을 입증하여, 이 방법의 실용적 유용성을 확인한다.