[논문 리뷰] Faster Wasserstein Distance Estimation with the Sinkhorn Divergence

Lénaïc Chizat, Pierre Roussillon외 3명|arXiv (Cornell University)|2020. 06. 15.

Geometric Analysis and Curvature Flows참고 문헌 57인용 수 54

한 줄 요약

이 논문은 샘플링된 밀도 간 W2^2를 Sinkhorn 발산으로 추정하는 방법을 제시합니다. 이는 더 큰 엔트로피 규제(entropic regularization)를 가능하게 하고, 비교 가능한 샘플 복잡도에서 더 빠른 계산을 제공하며, 개선된 효율을 위한 Richardson-외삽 변형도 제공합니다.

ABSTRACT

The squared Wasserstein distance is a natural quantity to compare probability distributions in a non-parametric setting. This quantity is usually estimated with the plug-in estimator, defined via a discrete optimal transport problem which can be solved to $ε$-accuracy by adding an entropic regularization of order $ε$ and using for instance Sinkhorn's algorithm. In this work, we propose instead to estimate it with the Sinkhorn divergence, which is also built on entropic regularization but includes debiasing terms. We show that, for smooth densities, this estimator has a comparable sample complexity but allows higher regularization levels, of order $ε^{1/2}$, which leads to improved computational complexity bounds and a strong speedup in practice. Our theoretical analysis covers the case of both randomly sampled densities and deterministic discretizations on uniform grids. We also propose and analyze an estimator based on Richardson extrapolation of the Sinkhorn divergence which enjoys improved statistical and computational efficiency guarantees, under a condition on the regularity of the approximation error, which is in particular satisfied for Gaussian densities. We finally demonstrate the efficiency of the proposed estimators with numerical experiments.

연구 동기 및 목표

• 샘플링되거나 이산화된 데이터로부터 밀도 간 W2^2를 효율적으로 추정하는 동기를 제시한다.
• Sinkhorn divergence를 W2^2에 대한 편향 제거된 엔트로피 규제 OT 추정기로 도입한다.
• 정규화 및 편향 제거의 통계적 및 계산적 균형을 분석한다.
• 정확도와 효율성을 개선하기 위한 Richardson-외삽 변형을 개발하고 분석한다.
• 제안된 추정기에 대한 이론적 경계 및 수치 검증을 제공한다.

제안 방법

• Sinkhorn divergence S_lambda를 T_lambda(mu,nu) - 1/2(T_lambda(mu,mu) + T_lambda(nu,nu))로 정의한다.
• Richardson-외삽 추정기 R_lambda = 2 S_lambda(mu,nu) - S_{sqrt{2} lambda}(mu,nu)로 도입한다.
• 정규성 하에서 |S_lambda(mu,nu) - W2^2(mu,nu)| = O(lambda^2)이며 2차 확장을 가진다.
• 샘플링 및 이산화 하에서 플러그인, S_lambda, 및 R_lambda 추정기에 대한 샘플 복잡도 경계를 제공한다.
• Sinkhorn 반복의 계산 복잡도를 분석하고 lambda 선택에 대한 Practical 지침을 제시한다.
• 추상적 규칙성 가정과 가우시안 케이스에서 Richardson-외삽 추정기의 성능을 논의한다.

실험 결과

연구 질문

• RQ1 부드러운 밀도에 대해 Sinkhorn 발산이 제곱 Wasserstein 거리를 어떻게 근사하는가?
• RQ2 엔트로피 정규화 및 편향 제거를 사용한 W2^2 추정 시 통계적-계산적 트레이드오프는 무엇인가?
• RQ3 Richardson 외삽이 W2^2 추정에서 바이어스-분산 트레이드오프를 개선하는 추정기를 낳을 수 있을까?
• RQ4 제안된 추정기가 무작위 샘플링과 그리드 이산화에서 어떻게 성능이 달라지는가?
• RQ5 고차원에서의 계산 시간과 정확도에 대한 실용적 및 이론적 보장은 무엇인가?

주요 결과

• Sinkhorn divergence는 바이어스가 lambda^2로 감소하는 편향 제거 추정기를 제공하여 T_lambda보다 더 큰 규화를 가능하게 하되 정확성을 유지한다.
• 독립 샘플의 경우 S_lambda는 플러그인 추정기와 비슷한 샘플 복잡도에 도달하지만 더 큰 lambda를 허용함으로써 계산적 보장을 개선한다.
• Richardson 외삽(R_lambda)은 적절한 규칙성 하에서 바이어스를 더 줄이고 효율성을 개선할 수 있으며, 가우시안 사례에서 명시적 경계가 있다.
• 그리드에서 그리드로 이산화된 주변에서 엔트로피 정규화는 안정성을 개선하고 Lipschitz 로그 밀도 하에서 비정규화 문제보다 더 빠른 오차 감소를 보인다.
• 경험적 결과는 S_lambda 및 R_lambda가 표준 플러그인 및 T_lambda 접근법에 비해 더 빠른 계산 및 우호적인 정확도를 확인한다.