[论文解读] Minimax Distribution Estimation in Wasserstein Distance

Shashank Singh, Barnabás Póczos|arXiv (Cornell University)|Feb 24, 2018

Point processes and geometric inequalities参考文献 60被引用 29

一句话总结

本文在仅使用度量结构（覆盖数/填数）和矩条件的前提下，建立了在Wasserstein距离损失下非参数分布估计的极小极大最优速率。证明了经验分布通常为极小极大速率最优，提供了紧致的上下界，推广了先前结果，并首次为该问题建立了极小极大下界。

ABSTRACT

The Wasserstein metric is an important measure of distance between probability distributions, with applications in machine learning, statistics, probability theory, and data analysis. This paper provides upper and lower bounds on statistical minimax rates for the problem of estimating a probability distribution under Wasserstein loss, using only metric properties, such as covering and packing numbers, of the sample space, and weak moment assumptions on the probability distributions.

研究动机与目标

• 确定在Wasserstein距离损失下估计概率分布的极小极大收敛速率。
• 仅基于样本空间的度量性质和矩条件，推导估计误差的紧致上下界。
• 在一般条件下证明经验分布为极小极大速率最优。
• 推广先前需要强假设（如总体有界性或巴拿赫空间结构）的上界结果。
• 首次为Wasserstein距离下的分布估计建立极小极大下界。

提出的方法

• 使用样本空间的覆盖数推导估计误差的上界。
• 利用填数和尾部矩界建立极小极大下界。
• 应用递归运输映射构造方法，控制分布间Wasserstein距离的上界。
• 将Weed和Bach（2017）的结果推广，推导出Wasserstein距离与基于划分的差异性之间的关键不等式。
• 采用划分细化技术，控制嵌套划分下近似分辨率。
• 在温和的度量和矩假设下，证明经验分布可达到所推导的极小极大速率。

实验结果

研究问题

• RQ1 在一般度量空间中，Wasserstein距离损失下分布估计的极小极大收敛速率为何？
• RQ2 在何种条件下，经验分布对Wasserstein估计为极小极大速率最优？
• RQ3 样本空间的覆盖数与填数如何影响极小极大估计速率？
• RQ4 分布的矩界在决定极小极大速率中起何作用？
• RQ5 能否在不依赖强参数或结构假设的前提下，为Wasserstein分布估计建立紧致的极小极大下界？

主要发现

• 在一般度量和矩条件下，经验分布达到极小极大收敛速率，确立其最优性。
• 利用样本空间的覆盖数和矩界推导出估计误差的上界。
• 通过填数和尾部矩条件建立下界，证明了上界的紧致性。
• 极小极大速率由度量结构（通过覆盖/填数）与分布的有限矩阶数之间的相互作用决定。
• 结果推广了先前需更强假设（如总体有界性或巴拿赫空间结构）的上界。
• 本工作首次为Wasserstein距离下的分布估计建立极小极大下界，填补了关键理论空白。