[论文解读] A Unifying Approach to Distributional Limits for Empirical Optimal Transport

Shayan Hundrieser, Marcel Klatt+2 more|arXiv (Cornell University)|Feb 25, 2022

Markov Chains and Monte Carlo Methods被引用 13

一句话总结

本文通过利用 Kantorovich 对偶性和函数 delta 方法，为经验最优传输（OT）中的中心极限定理（CLT）建立了一个统一的框架。它证明了经验 OT 成本弱收敛于高斯过程的上确界，表明极限以总体 OT 值为中心——这使得无需以期望为中心即可进行有效的统计推断。关键结果包括在最小矩和正则性条件下成立的 CLT，以及关于对偶函数类的 Donsker 性质的显式充分条件。

ABSTRACT

We provide a unifying approach to central limit type theorems for empirical optimal transport (OT). In general, the limit distributions are characterized as suprema of Gaussian processes. We explicitly characterize when the limit distribution is centered normal or degenerates to a Dirac measure. Moreover, in contrast to recent contributions on distributional limit laws for empirical OT on Euclidean spaces which require centering around its expectation, the distributional limits obtained here are centered around the population quantity, which is well-suited for statistical applications. At the heart of our theory is Kantorovich duality representing OT as a supremum over a function class $\mathcal{F}_{c}$ for an underlying sufficiently regular cost function $c$. In this regard, OT is considered as a functional defined on $\ell^{\infty}(\mathcal{F}_{c})$ the Banach space of bounded functionals from $\mathcal{F}_{c}$ to $\mathbb{R}$ and equipped with uniform norm. We prove the OT functional to be Hadamard directional differentiable and conclude distributional convergence via a functional delta method that necessitates weak convergence of an underlying empirical process in $\ell^{\infty}(\mathcal{F}_{c})$. The latter can be dealt with empirical process theory and requires $\mathcal{F}_{c}$ to be a Donsker class. We give sufficient conditions depending on the dimension of the ground space, the underlying cost function and the probability measures under consideration to guarantee the Donsker property. Overall, our approach reveals a noteworthy trade-off inherent in central limit theorems for empirical OT: Kantorovich duality requires $\mathcal{F}_{c}$ to be sufficiently rich, while the empirical processes only converges weakly if $\mathcal{F}_{c}$ is not too complex.

研究动机与目标

• 开发一种通用、统一的方法，用于经验最优传输成本的分布极限。
• 刻画极限分布以正态分布为中心或退化为 Dirac 测度的条件。
• 建立以总体 OT 值为中心的中心极限定理，而非以其中心化期望，从而提升统计适用性。
• 识别确保对偶函数类具有 Donsker 性质的地面空间、代价函数和概率测度的充分条件。
• 揭示由 Kantorovich 对偶性所需的对偶函数类丰富性与经验过程弱收敛所需复杂性之间的权衡。

提出的方法

• 通过 Kantorovich 对偶性将 OT 表示为函数类 $\mathcal{F}_c$ 上的上确界，将 OT 视为 $\ell^\infty(\mathcal{F}_c)$ 上的泛函。
• 证明 OT 泛函是 Hadamard 方向可微的，从而可应用函数 delta 方法。
• 通过验证 $\mathcal{F}_c$ 的 Donsker 性质，建立 $\ell^\infty(\mathcal{F}_c)$ 中经验过程的弱收敛。
• 利用度量熵界（$\varepsilon$ 的对数或幂律形式）通过 Van der Vaart & Wellner (1996) 验证 Donsker 类的可积性条件。
• 通过将函数 delta 方法与在上确界范数拓扑下经验过程的弱收敛相结合，推导出 CLT。
• 分析具体情形：半离散 OT、一维流形上的 $\alpha$-Hölder 代价函数，以及二维/三维流形上的 $C^2$ 代价函数，以推导显式充分条件。

实验结果

研究问题

• RQ1 在何种条件下，经验 OT 成本的分布收敛于非退化极限？
• RQ2 何时极限分布以总体 OT 值为中心，而非以其中心化期望？
• RQ3 对地面空间和代价函数的正则性与几何条件有何要求，才能确保对偶函数类的 Donsker 性质？
• RQ4 对偶函数类 $\mathcal{F}_c$ 的复杂性如何与经验过程的弱收敛性之间权衡？
• RQ5 在哪些情形下，极限分布退化为 Dirac 测度，而在哪些情形下为非退化高斯过程？

主要发现

• 经验 OT 成本的极限分布被表征为以对偶函数类 $\mathcal{F}_c$ 为指标的中心化高斯过程的上确界。
• CLT 以总体 OT 值为中心，相较于以期望为中心，更适用于统计推断。
• 对于 $s$-维紧致子流形（$s \leq 3$）及 $\alpha$-Hölder 或 $C^2$ 代价函数，在较弱正则性条件下，$\mathcal{F}_c$ 的 Donsker 性质成立。
• 在半离散情形下，$\mathcal{F}_c$ 的度量熵关于 $\varepsilon^{-1}$ 呈对数增长，从而保证 Donsker 性质。
• 当 $s=1$ 且 $\alpha$-Hölder 代价函数满足 $\alpha \in (1/2,1]$ 时，熵增长为 $\varepsilon^{-s/\alpha}$，仍保持可积性。
• 当 $s=2$ 或 $3$ 且代价函数为 $C^2$ 时，熵增长为 $\varepsilon^{-s/2}$，同样可积，从而保证经验过程的弱收敛。