[논문 리뷰] Generalized Sliced Wasserstein Distances

Soheil Kolouri, Kimia Nadjahi외 3명|arXiv (Cornell University)|2019. 02. 01.

Advanced Numerical Analysis Techniques인용 수 17

한 줄 요약

이 논문은 다항식 또는 원형 함수와 같은 비선형 투영을 사용하여 일반화된 라돈 변환을 적용한 슬라이스드 워셔스타인 거리의 일반화된 형태인 일반화된 슬라이스드 워셔스타인(GSW) 거리를 제안한다. 또한 단일 최적 투영을 사용하는 최대 GSW(max-GSW) 거리를 제안하여 계산 비용을 크게 줄이고도 거리 성질을 유지하면서 기존 슬라이스드 워셔스타인 거리보다 생성 모델링 과제에서 뛰어난 성능을 보인다.

ABSTRACT

The Wasserstein distance and its variations, e.g., the sliced-Wasserstein (SW) distance, have recently drawn attention from the machine learning community. The SW distance, specifically, was shown to have similar properties to the Wasserstein distance, while being much simpler to compute, and is therefore used in various applications including generative modeling and general supervised/unsupervised learning. In this paper, we first clarify the mathematical connection between the SW distance and the Radon transform. We then utilize the generalized Radon transform to define a new family of distances for probability measures, which we call generalized sliced-Wasserstein (GSW) distances. We also show that, similar to the SW distance, the GSW distance can be extended to a maximum GSW (max-GSW) distance. We then provide the conditions under which GSW and max-GSW distances are indeed distances. Finally, we compare the numerical performance of the proposed distances on several generative modeling tasks, including SW flows and SW auto-encoders.

연구 동기 및 목표

• 고차원 데이터에서 슬라이스드 워셔스타인 거리의 높은 계산 비용 문제를 해결하기 위해 선형 투영을 비선형 투영으로 일반화함.
• 일반화된 슬라이스드 워셔스타인 거리가 유효한 거리 측도가 되기 위한 이론적 조건을 설정함.
• 단일 최적 투영을 사용함으로써 투영 복잡도를 줄인 최대 GSW 거리를 제안함.
• 자동에코더 및 플로우 모델과 같은 생성 모델링 과제에서 GSW 및 max-GSW의 성능을 경험적으로 검증함.
• 신경망을 사용하여 일반화된 라돈 변환의 정의 함수를 근사하는 데의 잠재력을 탐색함.

제안 방법

• 논문은 일반화된 라돈 변환을 통해 선형 투영을 비선형 매핑으로 대체함으로써 슬라이스드 워셔스타인 거리를 일반화함.
• GSW 거리는 확률 측도가 비선형 다양체에 투영된 결과의 p-워셔스타인 거리의 평균으로 정의됨.
• max-GSW 거리는 투영 공간을 최적화하여 투영된 워셔스타인 거리를 최대화하는 단일 투영을 선택함으로써 구성됨.
• GSW 및 max-GSW 거리가 거리의 공리계를 만족하는 조건을 이론적으로 도출함.
• 방법은 표준 SW 거리를 GSW 및 max-GSW로 대체하여 SWAE 및 SW 플로우 아키텍처에 적용함.
• 실험에서는 다항식, 원형, 동차도-3 정의 함수를 사용하여 MNIST 및 합성 데이터에서 성능 평가함.

실험 결과

연구 질문

• RQ1 일반화된 라돈 변환을 통한 비선형 투영이 확률 측도에 대해 유효한 거리 측도를 제공할 수 있는가?
• RQ2 일반화된 슬라이스드 워셔스타인 거리가 올바른 거리 측도가 되기 위한 조건은 무엇인가?
• RQ3 단일 최적 투영을 기반으로 한 최대 GSW 거리는 계산 비용을 줄이면서도 거리 성질을 유지하는가?
• RQ4 GSW 및 max-GSW 거리는 표준 슬라이스드 워셔스타인 거리와 비교해 생성 모델링 과제에서 어떻게 성능을 냅니까?
• RQ5 비선형 투영은 선형 투영보다 고차원 데이터 분포의 내재 기하학을 더 잘 포착할 수 있는가?

주요 결과

• 다항식 또는 원형 정의 함수를 사용한 GSW 거리는 자동에코더 및 플로우 모델에서 선형 투영보다 데이터 분포의 비선형 기하학을 더 효과적으로 포착함.
• max-GSW 거리는 잠재 분포와 사전 분포를 매칭하는 데 있어 최첨단 GAN 기반 방법인 WAE-GAN과 유사한 성능을 달성함.
• SWAE 학습에서 다항식 투영을 사용한 GSWAE는 선형 또는 원형 투영보다 인코딩된 분포와 사전 분포 간의 2-워셔스타인 거리가 더 낮음.
• max-GSWAE 모델은 입력과 재구성된 분포 간의 2-워셔스타인 거리가 SWAE보다 낮아 더 뛰어난 생성 품질을 나타냄.
• 제안된 GSW 및 max-GSW 거리는 데이터 구조를 포착하기 위해 필요한 투영 수를 크게 줄여 계산 부담을 낮춤.
• 경험적 결과로 비선형 투영이 합성 및 실제 데이터 환경 모두에서 더 빠른 수렴과 더 나은 분포 매칭을 이끌어냄.