[论文解读] Learning Probability Measures with respect to Optimal Transport Metrics

Guillermo D. Cañas, Lorenzo Rosasco|arXiv (Cornell University)|Sep 5, 2012

Machine Learning and Algorithms参考文献 31被引用 30

一句话总结

本文通过最优传输度量，特别是2-沃瑟斯坦距离，建立了在流形上学习概率测度的收敛速率。通过将最优传输、量化和无监督学习联系起来，推导出紧致的概率界，表明k-means和经验测度以速率 $ n^{-1/(2d+4)} $ 收敛，且该界依赖于测度密度正则性 $ m(\rho_A) $。

ABSTRACT

We study the problem of estimating, in the sense of optimal transport metrics, a measure which is assumed supported on a manifold embedded in a Hilbert space. By establishing a precise connection between optimal transport metrics, optimal quantization, and learning theory, we derive new probabilistic bounds for the performance of a classic algorithm in unsupervised learning (k-means), when used to produce a probability measure derived from the data. In the course of the analysis, we arrive at new lower bounds, as well as probabilistic upper bounds on the convergence rate of the empirical law of large numbers, which, unlike existing bounds, are applicable to a wide class of measures.

研究动机与目标

• 分析当支撑集位于低维流形上时，经验测度和由k-means导出的概率测度向真实数据生成测度收敛的性质。
• 建立真实测度与基于有限样本估计值之间2-沃瑟斯坦距离的紧致概率界。
• 通过证明k-means等算法最小化与经验测度之间的2-沃瑟斯坦距离，将最优传输、最优量化和无监督学习联系起来。
• 通过引入密度正则性项 $ m(\rho_A) $，推导出对包括具有奇异或不规则分量在内的广泛测度类均有效的收敛速率。

提出的方法

• 使用2-沃瑟斯坦距离 $ W_2(\rho, \hat{\rho}_n) $ 作为评估经验测度 $ \hat{\rho}_n $ 向真实测度 $ \rho $ 收敛的主要度量。
• 应用三重三角不等式分解：$ W_2(\rho, \hat{\rho}_n)^2 \leq 3\left[ W_2(\rho, \pi_{S_k}\rho)^2 + W_2(\pi_{S_k}\rho, \pi_{S_k}\hat{\rho}_n)^2 + W_2(\pi_{S_k}\hat{\rho}_n, \hat{\rho}_n)^2 \right] $，其中 $ S_k $ 是一个k点量化器。
• 利用最优量化理论的结果，将最优量化误差 $ W_2(\rho, \pi_{S_k}\rho)^2 $ 与 $ \Theta(k^{-2/d}) $ 绑定。
• 通过集中不等式控制量化器集上经验与真实期望之间的偏差，即 $ \sup_{|S|=k} |\mathbb{E}_{x\sim\hat{\rho}_n} d(x,S)^2 - \mathbb{E}_{x\sim\rho} d(x,S)^2| $。
• 对 $ k $ 优化边界，以平衡量化误差与经验偏差，从而得出最优选择 $ k = \Theta(n^{d/(2d+4)}) $。
• 使用高斯尾部界推导出高概率界，结果为 $ W_2(\rho, \hat{\rho}_n) \leq C \cdot m(\rho_A) \cdot n^{-1/(2d+4)} \cdot \tau $，概率为 $ 1 - e^{-\tau^2} $。

实验结果

研究问题

• RQ1 当真实测度 $ \rho $ 支撑于d维流形上时，经验测度 $ \hat{\rho}_n $ 在2-沃瑟斯坦距离下的最优收敛速率是什么？
• RQ2 k-means作为测度估计器，其在2-沃瑟斯坦收敛方面与经验测度相比表现如何？
• RQ3 能否为经验测度和k-means导出的测度建立适用于广泛测度类（包括非均匀或奇异分量）的概率界？
• RQ4 最优量化在限制真实测度与其估计值之间2-沃瑟斯坦距离方面起什么作用？
• RQ5 由 $ m(\rho_A) = \int \rho_A(x)^{d/(d+2)} d\lambda_{\mathcal{M}}(x) $ 捕获的测度密度正则性如何影响收敛速率？

主要发现

• 经验测度 $ \hat{\rho}_n $ 以速率 $ n^{-1/(2d+4)} $ 在2-沃瑟斯坦距离下以高概率收敛到真实测度 $ \rho $。
• 收敛速率由测度正则性项 $ m(\rho_A) $ 决定，该值量化了 $ \rho $ 的绝对连续部分的集中程度。
• k-means生成的测度 $ \pi_{\hat{S}_k}\hat{\rho}_n $ 以相同的速率 $ n^{-1/(2d+4)} $ 收敛到 $ \rho $，表明k-means在统计上与完整的经验测度一样高效。
• k-means的最优聚类数 $ k $ 为 $ \Theta(n^{d/(2d+4)}) $，该值在 $ n $ 上为次线性，表明少量代表性点即可实现近似最优逼近。
• k-means的界不劣于经验测度的界，因为k-means输出是次优量化器，且最优量化器向 $ \rho $ 的收敛速度不可能慢于k-means。
• 当前界受统计偏差项 $ \sup_{|S|=k} |\mathbb{E}_{\hat{\rho}_n} d(x,S)^2 - \mathbb{E}_{\rho} d(x,S)^2| $ 的限制，对该项的改进将使整体收敛速率更紧。