[论文解读] Estimation of smooth densities in Wasserstein distance

Jonathan Weed, Quentin Berthet|arXiv (Cornell University)|Feb 5, 2019

Geometric Analysis and Curvature Flows被引用 38

一句话总结

本文建立了在 Wasserstein 距离下估计光滑密度的首个极小极大最优速率，表明密度的正则性可缓解维度灾难。通过引入 Wasserstein 距离与 Besov 范数之间的新界，作者推导出更优的收敛速率，并构建了计算高效的、具有离散支撑的近似方法。

ABSTRACT

The Wasserstein distances are a set of metrics on probability distributions supported on $\mathbb{R}^d$ with applications throughout statistics and machine learning. Often, such distances are used in the context of variational problems, in which the statistician employs in place of an unknown measure a proxy constructed on the basis of independent samples. This raises the basic question of how well measures can be approximated in Wasserstein distance. While it is known that an empirical measure comprising i.i.d. samples is rate-optimal for general measures, no improved results were known for measures possessing smooth densities. We prove the first minimax rates for estimation of smooth densities for general Wasserstein distances, thereby showing how the curse of dimensionality can be alleviated for sufficiently regular measures. We also show how to construct discretely supported measures, suitable for computational purposes, which enjoy improved rates. Our approach is based on novel bounds between the Wasserstein distances and suitable Besov norms, which may be of independent interest.

研究动机与目标

• 为解决在 Wasserstein 距离下光滑密度估计的极小极大速率方面的空白，特别是针对正则测度。
• 表明密度的光滑性可降低 Wasserstein 估计中的维度灾难。
• 构建保持改进收敛速率的离散支撑测度，以利于计算应用。
• 通过 Wasserstein 距离与 Besov 范数之间的新界建立理论基础。

提出的方法

• 推导将 Wasserstein 距离与 Besov 范数关联的新理论界，从而更紧密地控制估计误差。
• 利用这些界分析一般 Wasserstein 距离下光滑密度的极小极大风险。
• 通过量化或采样策略构建真实测度的离散支撑近似，同时保持收敛速率。
• 利用密度的正则性，推导出相比一般测度更优的收敛速率。
• 应用变分推理原理，以经验代理替代未知测度，并分析其在 Wasserstein 距离下的收敛性。
• 利用泛函分析与最优传输的工具，刻画平滑性与近似误差之间的权衡。

实验结果

研究问题

• RQ1 与一般测度相比，能否在 Wasserstein 距离下为光滑密度实现更优的极小极大速率？
• RQ2 密度的光滑性如何影响其 Wasserstein 近似收敛速率？
• RQ3 在离散支撑测度中，近似精度与计算效率之间的最优权衡是什么？
• RQ4 Wasserstein 距离与 Besov 范数之间的新界能否带来更紧的估计误差控制？
• RQ5 密度的正则性在多大程度上缓解了 Wasserstein 估计中的维度灾难？

主要发现

• 本文建立了在一般 Wasserstein 距离下估计光滑密度的首个极小极大最优速率，表明其收敛性优于一般测度。
• 密度的光滑性显著降低了有效维度，从而缓解了维度灾难。
• 推导出 Wasserstein 距离与 Besov 范数之间的新界，具有独立的理论价值。
• 可构建保持与连续近似相同改进速率的离散支撑测度，从而实现实际计算。
• 速率依赖于密度的光滑性与维度，光滑性越高，收敛越快。
• 结果表明，对于一般测度，经验测度是速率最优的，但在光滑性假设下可获得更优的速率。