[论文解读] Efficient and fast estimation of the geometric median in Hilbert spaces with an averaged stochastic gradient algorithm

Hervé Cardot, Peggy Cénac+1 more|arXiv (Cornell University)|Jan 22, 2011

Statistical Methods and Inference参考文献 29被引用 100

一句话总结

该论文提出了一种基于平均随机梯度下降的高效在线算法，用于在希尔伯特空间中估计几何中位数，实现了高维函数型数据的快速、顺序计算。该方法实现了几乎必然的一致性、$L^2$ 收敛性以及渐近正态性，具有理论保证，并在包含 5,423 条曲线的电视观众数据集上得到经验验证。

ABSTRACT

With the progress of measurement apparatus and the development of automatic sensors it is not unusual anymore to get thousands of samples of observations taking values in high dimension spaces such as functional spaces. In such large samples of high dimensional data, outlying curves may not be uncommon and even a few individuals may corrupt simple statistical indicators such as the mean trajectory. We focus here on the estimation of the geometric median which is a direct generalization of the real median and has nice robustness properties. The geometric median being defined as the minimizer of a simple convex functional that is differentiable everywhere when the distribution has no atoms, it is possible to estimate it with online gradient algorithms. Such algorithms are very fast and can deal with large samples. Furthermore they also can be simply updated when the data arrive sequentially. We state the almost sure consistency and the L2 rates of convergence of the stochastic gradient estimator as well as the asymptotic normality of its averaged version. We get that the asymptotic distribution of the averaged version of the algorithm is the same as the classic estimators which are based on the minimization of the empirical loss function. The performances of our averaged sequential estimator, both in terms of computation speed and accuracy of the estimations, are evaluated with a small simulation study. Our approach is also illustrated on a sample of more 5000 individual television audiences measured every second over a period of 24 hours.

研究动机与目标

• 解决在高维函数型数据中传统基于均值的方法对异常值敏感时，鲁棒中心趋势估计的挑战。
• 开发一种计算高效、适用于大规模或流式函数型数据的顺序算法，且内存需求极低。
• 为希尔伯特空间中的平均随机梯度估计器建立理论收敛性质——几乎必然一致性、$L^2$ 速率以及渐近正态性。
• 提供一种可扩展的替代方案，以替代需要完整数据存储和矩阵求逆的批处理或迭代方法，尤其适用于高维函数型数据。

提出的方法

• 在无原子分布假设下，将几何中位数表述为希尔伯特空间中一个凸可微泛函的最小化器。
• 应用具有递减步长的在线随机梯度下降算法，随新数据的到来迭代更新估计值。
• 在迭代序列上引入平均机制，以改善收敛性并实现渐近正态性。
• 利用鞅理论和泛函中心极限定理论证，证明平均估计器的渐近正态性。
• 利用阿贝尔变换和分解技术分析平均估计器的收敛性，并控制误差项。
• 通过矩条件和希尔伯特空间中的大数定律，界定估计误差的期望范数，建立几乎必然收敛性和$L^2$ 速率。

实验结果

研究问题

• RQ1 在线顺序算法是否能在无限维希尔伯特空间中实现几何中位数的一致且高效的估计？
• RQ2 几何中位数的平均随机梯度估计器是否具有与经典经验最小化器相同的渐近分布？
• RQ3 在高维或函数型数据设置下，所提算法的理论收敛速率和几乎必然一致性性质如何？
• RQ4 与批处理或迭代方法相比，该算法在大规模函数型数据上的计算速度和精度表现如何？
• RQ5 该算法能否在实际中应用于真实世界中的高维函数型数据，例如个人电视收视率的连续时间序列？

主要发现

• 在温和的矩条件和光滑性条件下，几何中位数的平均随机梯度估计器以几乎必然一致性收敛，且$L^2$ 收敛速率为$O(n^{-rac{1}{2} + rac{1}{2}eta})$，其中$\beta > 0$。
• 平均估计器的渐近分布为正态分布，其极限方差与经典经验最小化器相同，证实了其效率。
• 该算法每轮迭代的计算复杂度为$O(nd)$，使其适用于大规模样本并适合流式数据处理。
• 与传统迭代算法（如 Gervini, 2008）相比，该方法性能更优，后者在每一步都需要矩阵求逆，在高维下计算成本过高。
• 在包含 5,423 条个人电视收视率曲线（86,400 个维度）的数据集上的实证结果，验证了该算法的速度和对异常值的鲁棒性。
• 理论分析证实，该算法中的鞅差序列有界，从而支持功能中心极限定理的应用。