[论文解读] Minimax convergence rate for estimating the Wasserstein barycenter of random measures on the real line

Jérémie Bigot, Raúl Gouet+2 more|arXiv (Cornell University)|Jun 13, 2016

Geometric Analysis and Curvature Flows参考文献 14被引用 3

一句话总结

本文在仅观测到每个概率测度的离散样本时，建立了在实线上对随机概率测度的Wasserstein中位数估计的极小极大收敛速率。在 $ n $（测度数量）和 $ \min_i p_i $（最小样本量）同时趋于无穷的联合渐近框架下，推导了非平滑化与平滑化经验Wasserstein中位数的最优速率，并在Wasserstein度量下证明了极小极大最优性。

ABSTRACT

This paper is focused on the statistical analysis of probability measures $ν_{1},\ldots,ν_{n}$ on $\mathbb{R}$ that can be viewed as independent realizations of an underlying stochastic process. We consider the situation of practical importance where the random measures $ν_{i}$ are absolutely continuous with densities $f_{i}$ that are not directly observable. In this case, instead of the densities, we have access to datasets of real random variables $(X_{i,j})_{1 \leq i \leq n; \; 1 \leq j \leq p_{i} }$ organized in the form of $n$ experimental units, such that $X_{i,1},\ldots,X_{i,p_{i}}$ are iid observations sampled from a random measure $ν_{i}$ for each $1 \leq i \leq n$. In this setting, we focus on first-order statistics methods for estimating, from such data, a meaningful structural mean measure. For the purpose of taking into account phase and amplitude variations in the observations, we argue that the notion of Wasserstein barycenter is a relevant tool. The main contribution of this paper is to characterize the rate of convergence of a (possibly smoothed) empirical Wasserstein barycenter towards its population counterpart in the asymptotic setting where both $n$ and $\min_{1 \leq i \leq n} p_{i}$ may go to infinity. The optimality of this procedure is discussed from the minimax point of view with respect to the Wasserstein metric. We also highlight the connection between our approach and the curve registration problem in statistics. Some numerical experiments are used to illustrate the results of the paper on the convergence rate of empirical Wasserstein barycenters.

研究动机与目标

• 在仅可获得随机概率测度的独立同分布离散样本时，刻画经验Wasserstein中位数估计器的极小极大收敛速率。
• 在 $ n $ 和 $ \min_i p_i $ 同时发散的渐近框架下，评估非参数估计器在Wasserstein中位数估计中的统计最优性。
• 建立Wasserstein中位数估计与功能数据分析中曲线配准问题之间的联系。
• 比较非平滑化与平滑化经验中位数在收敛速率和极小极大最优性方面的性能。

提出的方法

• 提出两种非参数估计器：基于观测样本经验测度的非平滑化经验Wasserstein中位数，以及通过核密度估计恢复底层密度后再计算中位数的平滑化经验Wasserstein中位数。
• 分析两种估计器在期望平方Wasserstein距离到真实总体中位数 $ \nu_0 $ 方面的收敛性。
• 利用基于Kullback-Leibler散度和马尔可夫不等式的两假说检验框架推导极小极大下界，确立估计精度的根本限制。
• 通过将问题简化为有限个假说（此处为两个）来推导极小极大风险的下界，借助Tsybakov（2009）的工具。
• 使用带有二次代价的Wasserstein度量 $ d_W $ 定义中位数为 $ W_2(\mathbb{R}) $ 空间中的Fréchet均值，确保几何与概率的一致性。
• 证明在底层测度及其密度满足适当正则性条件时，收敛速率为 $ n^{-1/2} $。

实验结果

研究问题

• RQ1 当仅观测到实线上随机概率测度的离散样本时，Wasserstein中位数估计的最优收敛速率是什么？
• RQ2 在 $ n $ 和 $ \min_i p_i $ 均较大的联合渐近框架下，非平滑化与平滑化经验Wasserstein中位数的收敛速率如何比较？
• RQ3 所提出的经验中位数估计器在Wasserstein度量下是否为极小极大最优？
• RQ4 Wasserstein中位数框架在多大程度上能处理随机测度的相位与振幅变异性？
• RQ5 所提出的方法与功能数据分析中的曲线配准问题有何关联？

主要发现

• 在适当正则性条件下，估计器与真实中位数之间 $ n^{-1/2} $ 缩放的Wasserstein距离的极小极大下界被一个依赖于底层测度正则性的正常数所下界控制。
• 在适当的矩与密度正则性条件下，非平滑化经验Wasserstein中位数达到了极小极大收敛速率 $ n^{-1/2} $。
• 平滑化经验Wasserstein中位数同样达到了极小极大速率 $ n^{-1/2} $，其速率取决于核平滑步骤中带宽的选择。
• 通过构造具有有界Kullback-Leibler散度的两假说检验问题并应用Tsybakov不等式，确认该收敛速率在极小极大意义下是最优的。
• Wasserstein中位数被证明是处理随机测度中相位与振幅变异性的一种自然工具，将该方法与曲线配准问题联系起来。
• 数值实验验证了理论收敛速率，并展示了在各种采样方案下中位数估计器的鲁棒性。