[논문 리뷰] Gaussian-Smooth Optimal Transport: Metric Structure and Statistical Efficiency

Ziv Goldfeld, Kristjan Greenewald|arXiv (Cornell University)|2020. 01. 24.

Markov Chains and Monte Carlo Methods참고 문헌 29인용 수 5

한 줄 요약

이 논문은 1-와서르스타인 거리의 거리 구조를 유지하면서도 경험적 근사에서 차원의 저주를 제거하는 새로운 프레임워크인 가우시안 스무딩 최적 운반(GOT)을 소개한다. 확률 측도를 등방향 가우시안 노이즈와 컨볼루션함으로써 GOT는 모든 차원에서 빠른 $n^{-1/2}$ 수렴 속도를 달성하며, 고전적 OT를 능가하고 엔트로픽 OT의 통계적 효율성과 동등하지만 메트릭 성질을 손상시키지 않는다.

ABSTRACT

Optimal transport (OT), and in particular the Wasserstein distance, has seen a surge of interest and applications in machine learning. However, empirical approximation under Wasserstein distances suffers from a severe curse of dimensionality, rendering them impractical in high dimensions. As a result, entropically regularized OT has become a popular workaround. However, while it enjoys fast algorithms and better statistical properties, it looses the metric structure that Wasserstein distances enjoy. This work proposes a novel Gaussian-smoothed OT (GOT) framework, that achieves the best of both worlds: preserving the 1-Wasserstein metric structure while alleviating the empirical approximation curse of dimensionality. Furthermore, as the Gaussian-smoothing parameter shrinks to zero, GOT $Γ$-converges towards classic OT (with convergence of optimizers), thus serving as a natural extension. An empirical study that supports the theoretical results is provided, promoting Gaussian-smoothed OT as a powerful alternative to entropic OT.

연구 동기 및 목표

• 고차원 기계학습 응용에서 1-와서르스타인 거리에 기인한 차원의 저주를 해결하기 위한 목적.
• 엔트로픽으로 정규화된 OT에서 손실되는 1-와서르스타인 거리의 메트릭 구조를 유지하기 위한 목적.
• 엔트로픽 OT와 유사한 빠른 통계 수렴 속도를 달성하면서도 올바른 메트릭을 유지하는 프레임워크를 개발하기 위한 목적.
• 제안된 GOT 프레임워크 하에서 경험적 근사의 수렴 속도에 대한 이론적 보장을 수립하기 위한 목적.
• 이론적 주장들을 뒷받침하는 실험적 검증을 제공하고, 존재하는 OT 방법들에 대한 실용적인 대안으로 GOT를 위치지어 보기 위한 목적.

제안 방법

• 등방향 가우시안 $\mathcal{N}_\sigma$ (분산 $\sigma^2$) 를 사용하여 $\mathsf{W}_{1}^{(\sigma)}(\mu,\nu) = \mathsf{W}_{1}(\mu \ast \mathcal{N}_\sigma, \nu \ast \mathcal{N}_\sigma)$ 로 정의된 가우시안 스무딩 최적 운반(GOT)을 제안한다.
• 칸토로비치-루브린스키 이중성을 사용하여 GOT 거리를 $\sup_{\|f\|_{\mathsf{Lip}} \leq 1} \mathbb{E}_{\hat{\mu}_n \ast \mathcal{G}_\sigma} f - \mathbb{E}_{\mu \ast \mathcal{G}_\sigma} f$ 의 형태로 표현한다.
• 리프시츠 연속 함수와 가우시안 커널의 컨볼루션의 리프시츠 연속성에 기반하여, 경험적 GOT 거리에 대해 맥디아미드 부등식을 적용하여 농도 경계를 유도한다.
• GOT 거리 $\mathsf{W}_{1}^{(\sigma)}(\mu,\nu)$ 가 $\sigma$ 에 대해 연속적이고 단조 감소함을 증명하며, $\mathsf{W}_{1}^{(0)}(\mu,\nu) = \mathsf{W}_{1}(\mu,\nu)$ 를 만족함으로써 $\sigma \to 0$ 일 때 고전적 OT로 수렴함을 보장한다.
• $\sigma \to 0$ 일 때 GOT의 최적 운반 계획이 고전적 OT의 최적 계획으로 약한 수렴함을 증명하여 해의 일致성을 확보한다.
• 서브가우시안 노이즈와 유계, 단조 증가 밀도 조건 하에서 $\mathbb{E}\left[\mathsf{W}_{1}^{(\sigma)}(\hat{\mu}_n, \mu)\right]$ 에 대해 $O(n^{-1/2})$ 수렴 속도를 유도하며, 이는 모든 차원에서 유효하다.

실험 결과

연구 질문

• RQ1 최적 운반의 스무딩된 형태가 1-와서르스타인 거리의 메트릭 구조를 유지하면서도 고차원에서 통계 수렴 속도를 향상시킬 수 있는가?
• RQ2 가우시안 스무딩이 한 샘플 설정에서 경험적 OT 근사의 차원의 저주를 제거하는가?
• RQ3 고차원 설정에서 경험적 GOT 거리의 수렴 속도는 샘플 크기 $n$ 에 따라 어떻게 스케일링되는가?
• RQ4 스무딩 파라미터 $\sigma \to 0$ 일 때 GOT의 점근적 행동은 어떠한가? 원래의 OT 해를 복원하는가?
• RQ5 제안된 프레임워크는 엔트로픽 OT나 고전적 OT와 달리 메트릭 성질과 빠른 통계 수렴 속도를 동시에 달성할 수 있는가?

주요 결과

• 가우시안 스무딩 OT 거리 $\mathsf{W}_{1}^{(\sigma)}(\mu,\nu)$ 는 1-와서르스타인 거리의 메트릭 구조를 그대로 이어받으며, 약한 수렴의 메트리제이션과 기하학적 보간을 포함한다.
• $\sigma \to 0$ 일 때 $\mathsf{W}_{1}^{(\sigma)}(\mu,\nu)$ 는 $\mathsf{W}_{1}(\mu,\nu)$ 로 수렴하며, GOT의 최적 운반 계획은 고전적 OT의 최적 계획으로 약한 수렴한다.
• 경험적 GOT 거리 $\mathbb{E}\left[\mathsf{W}_{1}^{(\sigma)}(\hat{\mu}_n, \mu)\right]$ 는 기저 차원 $d$ 와 관계없이 모든 차원에서 $O(n^{-1/2})$ 속도로 수렴한다.
• 이 $n^{-1/2}$ 수렴 속도는 서브가우시안 노이즈와 스무딩 커널의 유계, 단조 증가 밀도 조건 하에서 유효하며, 한 샘플 설정에서 차원의 저주를 효과적으로 제거한다.
• 이론적 분석에 비해 고차원에서 고전적 OT를 능가하는 수렴 속도를 달성하면서도, 엔트로픽 OT에서 손실된 메트릭 성질을 유지함으로써 프레임워크는 성능 면에서 뛰어나다.
• 실험적 검증은 이론적 결과를 지지하며, GOT가 기존 OT 방법들에 비해 통계적으로 효율적이고 메트릭을 유지하는 실용적인 대안임을 보여준다.