[논문 리뷰] Augmented Sliced Wasserstein Distances

Xiongjie Chen, Yongxin Yang외 1명|arXiv (Cornell University)|2020. 06. 15.

Advanced Numerical Analysis Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 데이터를 신경망에 의해 정의된 초표면으로 매핑한 후 비선형 투영을 적용함으로써 워셔슈타인 거리 근사의 계산 효율성과 정확성을 향상시키는 새로운 메트릭인 증강된 슬라이스드 워셔슈타인 거리(ASWD)를 제안한다. 이 방법은 비선형성과 데이터 적응형 슬라이싱을 가능하게 하여 투영 효율성과 메트릭의 타당성을 향상시키는 침습적 신경망을 통해 고차원 공간에서 기존 변종들에 비해 뛰어난 성능을 달성한다.

ABSTRACT

While theoretically appealing, the application of the Wasserstein distance to large-scale machine learning problems has been hampered by its prohibitive computational cost. The sliced Wasserstein distance and its variants improve the computational efficiency through the random projection, yet they suffer from low accuracy if the number of projections is not sufficiently large, because the majority of projections result in trivially small values. In this work, we propose a new family of distance metrics, called augmented sliced Wasserstein distances (ASWDs), constructed by first mapping samples to higher-dimensional hypersurfaces parameterized by neural networks. It is derived from a key observation that (random) linear projections of samples residing on these hypersurfaces would translate to much more flexible nonlinear projections in the original sample space, so they can capture complex structures of the data distribution. We show that the hypersurfaces can be optimized by gradient ascent efficiently. We provide the condition under which the ASWD is a valid metric and show that this can be obtained by an injective neural network architecture. Numerical results demonstrate that the ASWD significantly outperforms other Wasserstein variants for both synthetic and real-world problems.

연구 동기 및 목표

• 대규모 기계학습에서 기존의 워셔슈타인 거리 및 슬라이스드 워셔슈타인 거수의 높은 계산 비용과 낮은 투영 효율성 문제를 해결하기 위해.
• 기존의 슬라이스드 워셔슈타인 거리에서 선형 투영의 한계를 극복하여 고차원에서 종종 근본적으로 작은 거리가 나오는 문제를 해결하기 위해.
• 이론적으로 타당한 메트릭을 유지하면서 학습된 비선형 투영을 통해 복잡한 데이터 구조를 포착하는, 미분 가능하고 확장 가능한 메트릭을 개발하기 위해.
• 기울기 기반 최적화와 호환되도록 거리 메트릭을 보장함으로써 딥 생성 모델에서 엔드 투 엔드 학습을 가능하게 하기 위해.

제안 방법

• 입력 샘플을 침습적 신경망을 사용하여 고차원 초표면으로 매핑함으로써 데이터 분포를 비선형 다양체로 변환한다.
• 이러한 임bedded 초표면에 선형 투영을 적용함으로써 원래 데이터 공간에서의 민첩하고 비선형적인 투영을 유도한다.
• ASWD는 변환된 분포의 일차원 투영 간의 기대 워셔슈타인 거리로 정의되며, 정렬을 통해 효율적으로 계산된다.
• 초표면 매개변수는 투영된 분포 간의 거리를 최대화하기 위해 기울기 상승을 통해 최적화된다. 이는 분류 능력을 향상시킨다.
• ASWD가 유효한 메트릭이 되는 이론적 조건을 유도하며, 이는 신경망이 침습적이며 투영 분포가 충분히 풍부해야 한다는 조건을 수반한다.
• 이 방법은 엔드 투 엔드 학습을 지원하며, 미분 가능한 솔버와 호환되어 딥 러닝 파이프라인에 통합될 수 있다.

실험 결과

연구 질문

• RQ1 학습된 초표면에서 유도된 비선형, 데이터 적응형 투영이 고차원 공간에서 슬라이스드 워셔슈타인 거리의 투영 효율성을 크게 향상시킬 수 있는가?
• RQ2 신경망 임베딩과 무작위 투영을 통해 구성된 제안된 ASWD가 이론적으로 유효한 메트릭을 유지하는가?
• RQ3 합성 및 실제 데이터 분포에서 ASWD가 SWD, Max-SWD, GSWD, DSWD와 같은 기존 변종들에 비해 정확성과 계산 효율성 측면에서 어떻게 비교되는가?
• RQ4 적은 수의 투영으로도 ASWD가 계산 비용을 줄이면서도 분류 능력을 유지할 수 있는가?

주요 결과

• ASWD는 합성 및 실제 작업 모두에서 SWD, Max-SWD, GSWD, DSWD를 뛰어넘으며, 특히 100차원 가우시안과 같은 고차원 설정에서 뛰어난 성능을 보인다.
• 단 10개의 투영으로도 ASWD는 SWD 및 Max-SWD보다 더 날카우며 현실적인 색상 이동 이미지 변환을 생성한다.
• ASWD가 생성한 바리센터는 기하학적으로 의미가 있으며, 전체 워셔슈타인 바리센터와 유사하지만, SWD 및 DSWD보다 계산적으로 더 효율적이다.
• 100차원 공간에서 히스토GRAM을 통해 볼 때, ASWD는 선형 투영보다 더 높은 투영 효율성을 보이며, 근본적으로 작은 거리의 수가 적다는 것이 입증되었다.
• 침습적 신경망의 사용은 ASWD가 유효한 메트릭이 되는 조건을 충족시켜 이론적 기반을 제공한다.