[논문 리뷰] Fast Approximation of the Sliced-Wasserstein Distance Using Concentration of Random Projections

Kimia Nadjahi, Alain Durmus외 3명|arXiv (Cornell University)|2021. 06. 29.

Geometric Analysis and Curvature Flows참고 문헌 38인용 수 5

한 줄 요약

이 논문은 고차원 랜덤 프로젝션에서의 측도 집중 현상을 활용하여 Sliced-Wasserstein 거리(SW)의 결정론적이고 하이퍼파rameter가 없는 근사법을 제안한다. 몬테카를로 샘플링 대신 고차원 프로젝션의 분포가 가우시안 분포로 수렴함을 이용하여, 비점근적 오차 보장을 갖는 빠르고 정확하며 계산적으로 효율적인 SW 추정이 가능해지며, 약한 의존성 조건 하에서 차원이 증가함에 따라 오차가 사라진다.

ABSTRACT

The Sliced-Wasserstein distance (SW) is being increasingly used in machine learning applications as an alternative to the Wasserstein distance and offers significant computational and statistical benefits. Since it is defined as an expectation over random projections, SW is commonly approximated by Monte Carlo. We adopt a new perspective to approximate SW by making use of the concentration of measure phenomenon: under mild assumptions, one-dimensional projections of a high-dimensional random vector are approximately Gaussian. Based on this observation, we develop a simple deterministic approximation for SW. Our method does not require sampling a number of random projections, and is therefore both accurate and easy to use compared to the usual Monte Carlo approximation. We derive nonasymptotical guarantees for our approach, and show that the approximation error goes to zero as the dimension increases, under a weak dependence condition on the data distribution. We validate our theoretical findings on synthetic datasets, and illustrate the proposed approximation on a generative modeling problem.

연구 동기 및 목표

• 고차원 환경에서 몬테카를로 기반 Sliced-Wasserstein 거리(SW) 추정의 높은 계산 비용을 해결하기 위해.
• 프로젝션 수 $ L $ 를 튜닝할 필요가 없는 몬테카를로 샘플링의 결정론적 대안을 개발하기 위해.
• 약한 의존성 조건 하에서 SW의 근사 오차에 대한 비점근적 이론적 보장을 제공하기 위해.
• 생성 모델링 및 기타 SW에 의존하는 머신러닝 작업에서 몬테카를로 SW를 결정론적이고 확장 가능한 대체법으로 대체함으로써 더 빠른 학습을 가능하게 하기 위해.
• 합성 데이터와 이미지 생성에서의 효과성을 입증하여 몬테카를로 기반 SW에 비해 빠른 속도와 높은 품질을 보여주기 위해.

제안 방법

• 이 방법은 측도 집중 현상을 활용한다: 약한 의존성을 가진 데이터의 고차원 랜덤 프로젝션은 가우시안 분포로 수렴한다.
• 랜덤 프로젝션에 대한 몬테카를로 기대값을 프로젝션의 극한 가우시안 분포에 기반한 결정론적 근사로 대체한다.
• 결과적으로 유도된 근사는 [26]의 결과를 활용하여 프로젝션 분포와 그 가우시안 극한 간의 워셔슈타인 거리에 대한 경계를 사용한다.
• 결과적으로 얻어진 SW 추정은 샘플링이나 최적화 없이 데이터의 평균과 공분산에 대한 폐쇄형 연산을 통해 계산된다.
• PyTorch의 정렬 연산을 활용하여 효율적으로 구현되어 GPU 가속이 가능하고, 에포크당 계산 시간이 매우 낮다.
• 생성 모델링에 적용하기 위해 특징 표현을 정규화된 공분산 행렬과 비교함으로써 약한 의존성을 강제한다.

실험 결과

연구 질문

• RQ1 측도 집중 현상을 활용하여 Sliced-Wasserstein 거리의 결정론적이고 하이퍼파rameter가 없는 근사를 구성할 수 있는가?
• RQ2 데이터 차원이 증가함에 따라 이 결정론적 SW 근사의 비점근적 오차 행동은 어떠한가?
• RQ3 이 근사 오차는 차원과 어떤 종속성 가정 하에서 척도가 변하는가?
• RQ4 이 결정론적 SW 근사는 계산 효율성과 생성 모델 품질 측면에서 몬테카를로 기반 SW를 능가할 수 있는가?
• RQ5 이 방법은 데이터 특징이 약한 의존성을 가지는 경우에도 실세계의 머신러닝 작업, 특히 이미지 생성에 적용 가능한가?

주요 결과

• 제안된 결정론적 SW 근사는 몬테카를로 방법보다 훨씬 더 빠른 계산 속도를 달성한다: CelebA에서 CPU 기준 에포크당 3초 미만, 몬테카를로 방법은 약 45분이다.
• 근사 오차는 차원이 증가함에 따라 감소하며, 데이터 분포에 대한 약한 의존성 조건 하에서는 0에 수렴한다.
• 합성 데이터에서는 근사 오차의 경험적 수렴 속도가 이론적 $ d^{-1/8} $ 경계보다 더 빠르며, 이는 이 경계가 보수적인 것으로 보인다.
• 이미지 생성에서는 제안된 SW 근사를 사용하는 reg-det-SWG 모델이 더 높은 품질의 이미지를 생성하고, 몬테카를로 기반 SWG와 비교해 유사하거나 더 낮은 학습 시간을 기록한다.
• 프로젝션 수 $ L $ 를 튜닝할 필요가 없어지며, 하이퍼파rameter 민감도가 감소하고 구현이 단순해진다.
• 이론적 오차 경계는 대각 공분산 가우시안 분포에 대해 $ O(d^{-1/2}) $ 이며, 저자들은 특정 분포에 대해 더 날카로운 경계가 가능할 것이라고 제안한다.