[논문 리뷰] A Unifying Approach to Distributional Limits for Empirical Optimal Transport

Shayan Hundrieser, Marcel Klatt외 2명|arXiv (Cornell University)|2022. 02. 25.

Markov Chains and Monte Carlo Methods인용 수 13

한 줄 요약

이 논문은 캉토로비치 이중성과 기능적 델타 방법을 활용하여 경험적 최적 운반(Optimal Transport, OT)에서 중심극한정리(Central Limit Theorems, CLTs)를 통합하는 프레임워크를 수립한다. 경험적 OT 비용의 약한 수렴을 중심이 있는 가우시안 과정의 최대값으로 보여주며, 이때 극한 분포가 모집단 OT 값에서 중심화됨을 입증함으로써 기대값에서 중심화하지 않는 유효한 추론을 가능하게 한다. 주요 결과로는 최소한의 모멘트 및 정칙 조건 하에서의 CLTs를 도출하고, 이중 함수 클래스의 Donsker 성질을 위한 명시적 충분 조건을 제시한다.

ABSTRACT

We provide a unifying approach to central limit type theorems for empirical optimal transport (OT). In general, the limit distributions are characterized as suprema of Gaussian processes. We explicitly characterize when the limit distribution is centered normal or degenerates to a Dirac measure. Moreover, in contrast to recent contributions on distributional limit laws for empirical OT on Euclidean spaces which require centering around its expectation, the distributional limits obtained here are centered around the population quantity, which is well-suited for statistical applications. At the heart of our theory is Kantorovich duality representing OT as a supremum over a function class $\mathcal{F}_{c}$ for an underlying sufficiently regular cost function $c$. In this regard, OT is considered as a functional defined on $\ell^{\infty}(\mathcal{F}_{c})$ the Banach space of bounded functionals from $\mathcal{F}_{c}$ to $\mathbb{R}$ and equipped with uniform norm. We prove the OT functional to be Hadamard directional differentiable and conclude distributional convergence via a functional delta method that necessitates weak convergence of an underlying empirical process in $\ell^{\infty}(\mathcal{F}_{c})$. The latter can be dealt with empirical process theory and requires $\mathcal{F}_{c}$ to be a Donsker class. We give sufficient conditions depending on the dimension of the ground space, the underlying cost function and the probability measures under consideration to guarantee the Donsker property. Overall, our approach reveals a noteworthy trade-off inherent in central limit theorems for empirical OT: Kantorovich duality requires $\mathcal{F}_{c}$ to be sufficiently rich, while the empirical processes only converges weakly if $\mathcal{F}_{c}$ is not too complex.

연구 동기 및 목표

• 경험적 최적 운반 비용에 대한 분포수렴의 일반적이고 통합적인 접근법을 개발하기 위해.
• 한계 분포가 중심 정규분포인지 또는 딜라크 측도로 분해되는지를 규명하기 위해.
• 기대값이 아닌 모집단 OT 값에서 중심화된 중심극한정리를 수립하여 통계적 적용성을 향상시키기 위해.
• 이중 함수 클래스에 대한 Donsker 성질을 보장하는 지상공간, 비용 함수, 확률 측도에 대한 충분 조건을 규명하기 위해.
• 캉토로비치 이중성에 의해 요구되는 이중 함수 클래스의 풍부함과 경험 과정의 약한 수렴에 요구되는 복잡성 사이의 트레이드오프를 밝혀내기 위해.

제안 방법

• 캉토로비치 이중성을 통해 OT를 함수 클래스 $\mathcal{F}_c$ 위의 최대값으로 표현하고, OT를 $\ell^\infty(\mathcal{F}_c)$ 상의 기능으로 간주한다.
• OT 기능이 하다르드 방향미분 가능함을 증명하여 기능적 델타 방법의 적용을 가능하게 한다.
• 함수 클래스 $\mathcal{F}_c$ 에 대해 Donsker 성질을 확인함으로써 $\ell^\infty(\mathcal{F}_c)$ 상에서 경험 과정의 약한 수렴을 확립한다.
• 바른 베르트 & 웰너(1996)의 방법을 활용해, $\varepsilon$에 대해 로그 또는 거듭제곱 법칙에 따라 변화하는 척도 엔트로피 한계를 통해 Donsker 클래스의 적분 가능성 조건을 검증한다.
• 기능적 델타 방법과 초노름 위상에서 경험 과정의 약한 수렴을 조합하여 CLTs를 유도한다.
• 특정 설정 분석: 반연속적 OT, 1차원 다양체에서의 $\alpha$-홀더 비용, 2차원/3차원 다각형에서의 $C^2$ 비용을 통해 명시적 충분 조건을 도출한다.

실험 결과

연구 질문

• RQ1 경험적 OT 비용이 비퇴화한 극한 분포로 수렴하는 조건은 무엇인가?
• RQ2 한계 분포가 기대값이 아닌 모집단 OT 값에서 중심화되는 경우는 언제인가?
• RQ3 지상공간과 비용 함수에 대한 정규성 및 기하학적 조건은 무엇이어야 이중 함수 클래스에 대한 Donsker 성질을 보장하는가?
• RQ4 이중 함수 클래스 $\mathcal{F}_c$ 의 복잡성은 경험 과정의 약한 수렴과 어떻게 상호작용하는가?
• RQ5 어떤 설정에서 한계 분포가 딜라크 측도로 분해되고, 어떤 경우에 비정규 가우시안 과정이 되는가?

주요 결과

• 경험적 OT 비용의 한계 분포는 이중 함수 클래스 $\mathcal{F}_c$ 에 따라 인덱싱된 중심 가우시안 과정의 최대값으로 특징지어진다.
• CLT는 기대값이 아닌 모집단 OT 값에서 중심화되며, 이는 기대값에서 중심화하는 것보다 통계적 추론에 더 적합하다.
• $s$차원 컴act 부분다양체에서 $s \leq 3$ 이고, $\alpha$-홀더 또는 $C^2$ 비용 함수일 경우, 미약한 정칙 조건 하에서 $\mathcal{F}_c$ 에 대해 Donsker 성질이 성립한다.
• 반연속적 설정에서는 $\mathcal{F}_c$ 의 척도 엔트로피가 $\varepsilon^{-1}$ 에 대해 로그적으로 증가하여 Donsker 성질을 보장한다.
• $s=1$ 이고 $\alpha$-홀더 비용 함수에서 $\alpha \in (1/2,1]$ 일 경우, 엔트로피 성장률은 $\varepsilon^{-s/\alpha}$ 로 나타나며, 이는 여전히 적분 가능하다.
• $s=2$ 또는 $3$ 이고 $C^2$ 비용 함수일 경우, 엔트로피 성장률은 $\varepsilon^{-s/2}$ 로 나타나며, 이 역시 적분 가능하여 경험 과정의 약한 수렴을 보장한다.