[논문 리뷰] Rates of Estimation of Optimal Transport Maps using Plug-in Estimators via Barycentric Projections

Nabarun Deb, Promit Ghosal외 1명|arXiv (Cornell University)|2021. 07. 04.

Markov Chains and Monte Carlo Methods참고 문헌 130인용 수 27

한 줄 요약

이 논문은 바리센터(barycentric) 프로젝션을 이용한 최적 전송 맵의 플러그인 추정치의 수렴 속도를 분석하고, 스무딩(웨이블릿/커널)이 차원의 저주를 완화할 수 있음을 보여주며, Wasserstein 거리 추정치의 속도와 Wasserstein 중심 및 독립성 검정 응용을 제공합니다.

ABSTRACT

Optimal transport maps between two probability distributions $μ$ and $ν$ on $\mathbb{R}^d$ have found extensive applications in both machine learning and statistics. In practice, these maps need to be estimated from data sampled according to $μ$ and $ν$. Plug-in estimators are perhaps most popular in estimating transport maps in the field of computational optimal transport. In this paper, we provide a comprehensive analysis of the rates of convergences for general plug-in estimators defined via barycentric projections. Our main contribution is a new stability estimate for barycentric projections which proceeds under minimal smoothness assumptions and can be used to analyze general plug-in estimators. We illustrate the usefulness of this stability estimate by first providing rates of convergence for the natural discrete-discrete and semi-discrete estimators of optimal transport maps. We then use the same stability estimate to show that, under additional smoothness assumptions of Besov type or Sobolev type, wavelet based or kernel smoothed plug-in estimators respectively speed up the rates of convergence and significantly mitigate the curse of dimensionality suffered by the natural discrete-discrete/semi-discrete estimators. As a by-product of our analysis, we also obtain faster rates of convergence for plug-in estimators of $W_2(μ,ν)$, the Wasserstein distance between $μ$ and $ν$, under the aforementioned smoothness assumptions, thereby complementing recent results in Chizat et al. (2020). Finally, we illustrate the applicability of our results in obtaining rates of convergence for Wasserstein barycenters between two probability distributions and obtaining asymptotic detection thresholds for some recent optimal-transport based tests of independence.

연구 동기 및 목표

• μ와 ν에서 샘플을 추출하여 최적 전송 맵 T0의 추정을 동기화한다.
• 플러그인 추정치를 분석하기 위한 바리센터 프로젝션에 대한 통합된 안정성 프레임워크를 개발한다.
• 자연스러운 이산-이산 및 반이산적 플러그인 추정치의 수렴 속도를 도출한다.
• Besov 또는 Sobolev를 이용한 매끄러운 밀도 가정이 속도를 개선하고 차원성을 완화하는 방법을 Demonstrate한다.
• W2 추정, Wasserstein 중심 및 독립성 검정 응용에 결과를 연결한다.

제안 방법

• 최소한의 매끄림이 필요하고 근사 간 OT 맵의 존재 여부에 의존하지 않는 바리센터 프로젝션에 대한 새로운 안정성 추정치(정리 2.1)를 도입한다.
• Lipschitz OT 맵 가정하에 자연스러운 이산-이산 및 반이산적 플러그인 추정치의 수렴 속도를 도출한다(정리 2.2).
• Besov-매끄러운 밀도일 때 d ≥ 3인 경우 T0의 속도가 n^{-(1+s)/(d+2s)} 형태임을 보인다(정리 2.4).
• 커널 스무딩을 가진 Sobolev-매끄러운 밀도일 때 속도가 m^{-(s+2)/d ∧ 1/2}+n^{-(s+2)/d ∧ 1/2} 형태임을 보인다(정리 2.6).
• 스무딩된 측정의 계산 가능한 이산 근사치를 확립하여 동일한 속도를 얻는다(정리 2.8).
• W2^2(μ,ν)의 수렴 속도 및 Wasserstein 중심과 독립성 검정 응용에 대한 시사점을 확장한다.

실험 결과

연구 질문

• RQ1 바리센터 프로젝션에서 경험적 분포로부터 OT 맵의 플러그인 추정치의 수렴 속도는 얼마인가?
• RQ2 Besov 또는 Sobolev 밀도 가정에 의한 스무딩이 OT 맵 추정의 차원 저주를 완화할 수 있는가?
• RQ3 유사한 매끄름 가정하에서 W2^2(μ,ν) 추정치의 플러그인 추정치 수렴 속도는 어떻게 되는가?
• RQ4 이 속도들이 Wasserstein 중심 및 독립성 검정과 같은 실용적 OT 관련 작업에 어떻게 적용되는가?

주요 결과

• 바리센터 프로젝션에 대한 새로운 안정성 경계(정리 2.1)는 매끄러움이 필요 없거나 근사 간 기존 OT 맵이 존재하지 않아도 된다.
• Lip시츠 OT 맵 가정과 ν의 컴팩트한 지지 하에서 이산-이산 및 반이산 플러그인 추정치의 오차 속도는 d ≥ 4일 때 m^{-2/d}+n^{-2/d}이다(정리 2.2).
• Besov-매끄러운 밀도에서는 속도가 n^{-(1+s)/(d+2s)}로 개선된다(정리 2.4).
• Sobolev-매끄러운 밀도와 커널 스무딩 하에서 속도는 m^{-(s+2)/d ∧ 1/2}+n^{-(s+2)/d ∧ 1/2}로 나타난다(정리 2.6).
• 같은 스무딩 주도 속도 개선은 W2^2(μ,ν) 추정에도 적용된다(정리 2.4 및 관련 결과).
• 계산 가능한 이산화된 스무딩 추정치는 동일한 속도를 유지하며 통계적 복잡도와 계산 복잡도 간의 명확한 트레이드를 제공한다(정리 2.8).