[논문 리뷰] Statistical bounds for entropic optimal transport: sample complexity and the central limit theorem

Gonzalo E. Mena, Jonathan Niles‐Weed|arXiv (Cornell University)|2019. 05. 28.

Geometric Analysis and Curvature Flows인용 수 68

한 줄 요약

이 논문은 임의 차원에서 서브가우시안 측정치를 갖는 엔트로픽 OT에 대한 새로운 샘플 복잡도 경계와 중심극한정리를 도출하고, 이 결과를 가우시안 잡음하의 엔트로피 추정에 적용한다.

ABSTRACT

We prove several fundamental statistical bounds for entropic OT with the squared Euclidean cost between subgaussian probability measures in arbitrary dimension. First, through a new sample complexity result we establish the rate of convergence of entropic OT for empirical measures. Our analysis improves exponentially on the bound of Genevay et al. (2019) and extends their work to unbounded measures. Second, we establish a central limit theorem for entropic OT, based on techniques developed by Del Barrio and Loubes (2019). Previously, such a result was only known for finite metric spaces. As an application of our results, we develop and analyze a new technique for estimating the entropy of a random variable corrupted by gaussian noise.

연구 동기 및 목표

• 경계가 있는 지원을 넘어서는 엔트로픽 OT의 통계적 거동을 이해하도록 동기를 부여한다.
• 무한한 지원을 갖는 측정치에 대해 모집단 엔트로픽 비용과 경험적 엔트로픽 비용의 차이에 대한 비점근 경계를 제공한다.
• 일반적인 서브가우시안 설정에서 엔트로픽 OT에 대한 중심극한정리를 확립한다.
• 가우시안 잡음에 의해 왜곡된 변수에 대한 엔트로피 추정에 엔트로픽 OT를 적용한다.

제안 방법

• 엔트로픽 OT의 이중형식화와 최적 포텐셜 (f,g)을 사용하여 S(P,Q)와 S(Pn,Qn)을 관계시킨다.
• 최적 포텐셜의 Hölder 노름을 콤팩트 집합에서 제어하여 지수적 경계 없이 경계를 도출한다.
• 함수 클래스에 대한 경험적 과정 이론과 커버링 수를 활용하여 E|S(P,Q)-S(Pn,Qn)|를 상한한다.
• P와 Q가 서브가우시안일 때 S(Pn,Qn)에 대한 중심극한정리를 Del Barrio–Loubès 방식으로 증명한다.
• 엔트로피 OT를 사용하여 X+가우시안 노이즈의 엔트로피에 대한 plug‑in 추정기를 도출하고 분산 특성을 분석한다.
• 이론적 주장들을 검증하고 엔트로피 추정 응용을 시연하는 시뮬레이션을 제공한다.

실험 결과

연구 질문

• RQ1 R^d에서 서브가우시안 측정에 대해 경험적 엔트로픽 OT 비용 S(Pn,Qn)가 모집단 비용 S(P,Q)에 수렴하는 속도는 얼마인가?
• RQ2 서브가우시안 설정에서 엔트로픽 OT 비용이 중심극한정리를 만족하는가, 그리고 한계분산은 무엇인가?
• RQ3 엔트로픽 OT를 이용하여 가우시안 잡음과 합성된 난수의 미분 엔트로피를 추정하는 방법과 통계적 보장은 무엇인가?
• RQ4 경계가 없는 지원이 경계가 있거나 유한한 설정과 비교하여 엔트로픽 OT의 통계적 거동에 어떠한 영향을 미치는가?

주요 결과

• σ^2‑서브가우시안 P,Q에 대해 기댓값 오차 E|S(P,Q)-S(Pn,Qn)| ≤ C_d(1+σ^{⟨5d/2⟩+6})/√n로, 기존 경계보다 개선되며 큰 직경에 대한 의존성을 제거한다.
• 중심극한정리가 확립된다: √n(S(Pn,Q)-E[S(Pn,Q)])는 N(0, Var_P(f(X)))으로 수렴한다.
• 독립 샘플이 P와 Q로부터 얻어진 이항 설정에서, √(mn/(m+n))(S(Pn,Qm)-E[S(Pn,Qm)])은 분산 (1−λ)Var_P(f(X)) + λ Var_Q(g(Y))를 갖는 정규분포로 수렴한다.
• 논문은 엔트로픽 OT를 합성된 측정의 엔트로피와 연결지어 X+가우시안 노이즈의 엔트로피에 대해 √n 수렴을 갖는 plug-in 추정기를 가능하게 한다.
• 시뮬레이션은 해석적 정규성 및 개선된 샘플 복잡도 경계를 확인하고 OT를 통한 엔트로피 추정을 보여준다.
• 엔트로피 OT에 기반한 미분 엔트로피 추정기가 명시된 CLT 기반 보장을 달성한다.