[논문 리뷰] Sharp Convergence Rates for Empirical Optimal Transport with Smooth Costs

Tudor Manole, Jonathan Niles‐Weed|arXiv (Cornell University)|2021. 06. 24.

Markov Chains and Monte Carlo Methods참고 문헌 45인용 수 9

한 줄 요약

이 논문은 매끄러운 비용 함수를 가진 플러그인 추정기의 최적 운반 비용에 대해 날카운 수렴 속도를 확립하며, 표준 n^{-1/d} 속도에 비해 거의 n^{-2/d} 수준으로 제곱적으로 빠르게 수렴함을 보여준다. 이 향상은 매끄러움에서 기인하며, 저자들은 경계 이론과 커버링 수 제어를 통해 날카운 상한과 하한을 증명한다.

ABSTRACT

We revisit the question of characterizing the convergence rate of plug-in estimators of optimal transport costs. It is well known that an empirical measure comprising independent samples from an absolutely continuous distribution on $\mathbb{R}^d$ converges to that distribution at the rate $n^{-1/d}$ in Wasserstein distance, which can be used to prove that plug-in estimators of many optimal transport costs converge at this same rate. However, we show that when the cost is smooth, this analysis is loose: plug-in estimators based on empirical measures converge quadratically faster, at the rate $n^{-2/d}$. As a corollary, we show that the Wasserstein distance between two distributions is significantly easier to estimate when the measures are well-separated. We also prove lower bounds, showing not only that our analysis of the plug-in estimator is tight, but also that no other estimator can enjoy significantly faster rates of convergence uniformly over all pairs of measures. Our proofs rely on empirical process theory arguments based on tight control of $L^2$ covering numbers for locally Lipschitz and semi-concave functions. As a byproduct of our proofs, we derive $L^\infty$ estimates on the displacement induced by the optimal coupling between any two measures satisfying suitable concentration and anticoncentration conditions, for a wide range of cost functions.

연구 동기 및 목표

• 비용 함수가 매끄러울 때 최적 운반 비용의 플러그인 추정기의 수렴 속도를 특성화하는 것.
• 비용 함수가 매끄러울 경우 표준 n^{-1/d} 수렴 속도가 느슨하며, n^{-2/d} 수준의 더 빠른 속도가 달성 가능함을 보여주는 것.
• 모든 측도 쌍에 대해 균일하게 n^{-2/d} 속도를 초월할 수 없는 추정기의 존재를 보여주는 최소최대 하한을 수립하는 것.
• 농도 및 반농도 조건 하에서 최적 쌍대성에 의해 유도된 이동 지도에 대한 L^∞ 추정을 도출하는 것.
• 경험적 최적 운반 이론 분석을 매끄러운 비용 함수로 통합하기 위해 경험 과정 이론과 커버링 수를 사용하는 것.

제안 방법

• 국소 리프시츠 및 준볼록 함수에 대해 L^2 커버링 수를 제어하기 위해 경험 과정 이론을 사용한다.
• 커버링 수의 정밀한 제어를 적용하여 경험적 최적 운반 비용과 그 집단 대응물 간의 편차를 제한한다.
• 일반 비용 함수에 대해 농도 및 반농도 조건 하에서 이동 지도에 대한 L^∞ 추정을 도출한다.
• 최소최대 테스팅 접근법을 사용하여 두 가족의 측도를 구성함으로써 하한을 증명한다.
• 卡이-제곱 발산과 총 변동을 사용한 측도 전환 방법을 활용해 테스팅 문제를 구성한다.
• 마르코프 부등식과 확률 추정을 적용하여 모든 추정기의 기대 추정 오차에 대한 하한을 유도한다.

실험 결과

연구 질문

• RQ1 비용 함수가 매끄러울 경우 경험적 최적 운반의 표준 n^{-1/d} 수렴 속도를 향상시킬 수 있는가?
• RQ2 매끄러운 비용을 가진 최적 운반 비용의 플러그인 추정기의 최적 수렴 속도는 무엇인가?
• RQ3 n^{-2/d} 속도는 날카로운가, 아니면 모든 측도 쌍에 대해 유일하게 더 빠른 속도를 달성할 수 있는 추정기가 존재하는가?
• RQ4 농도 및 반농도 조건은 최적 운반에서 이동 지도에 어떤 영향을 미치는가?
• RQ5 커버링 수는 경험적 최적 운반 비용의 편차 제어에 어떤 역할을 하는가?

주요 결과

• 매끄러운 비용 함수의 경우, 플러그인 추정기는 최적 운반 비용을 n^{-2/d} 속도로 수렴하며, 이는 표준 n^{-1/d} 속도보다 제곱적으로 더 빠르다.
• p ≥ 2 인 경우 p-완월러스테인 거리에서 속도 n^{-2/d}는 날카로운 것으로 판명되며, 어떤 상수 C에 대해 기대 오차가 C n^{-2/d}로 유계가 된다.
• 1 ≤ p ≤ 2 인 경우 속도는 n^{-p/d}이며, n^{-2/d}보다 느리지만, p < 2 이면 여전히 n^{-1/d} 속도보다 빠르다.
• 논문은 모든 측도 쌍에 대해 n^{-2/d} 속도를 초월할 수 없는 추정기의 존재를 보여주는 최소최대 하한을 증명한다.
• 저자들은 농도 및 반농도 조건 하에서 이동 지도에 대한 L^∞ 추정을 도출하였으며, 이는 커버링 수 추정의 제어에 필수적이다.
• 분석 결과, 측도 μ와 ν가 잘 분리되어 있을 경우 비용 함수의 매끄러움으로 인해 수렴 속도가 크게 향상됨을 밝혀냈다.