[论文解读] Estimating the geometric median in Hilbert spaces with stochastic gradient algorithms: $L^{p}$ and almost sure rates of convergence

Antoine Godichon|arXiv (Cornell University)|Apr 9, 2015

Statistical Methods and Inference参考文献 16被引用 5

一句话总结

本文在可分希尔伯特空间中建立了用于估计几何中位数的随机梯度算法的 $L^p$ 收敛率和几乎必然收敛率。推导了罗宾斯-蒙罗算法在一般可分希尔伯特空间中的最优 $L^p$ 收敛率，并利用这些结果获得了标准算法与平均算法的几乎必然收敛率，将先前在函数型数据和高维数据设置下关于一致性和二次均值收敛性的结果进一步拓展。

ABSTRACT

The geometric median, also called $L^{1}$-median, is often used in robust statistics. Moreover, it is more and more usual to deal with large samples taking values in high dimensional spaces. In this context, a fast recursive estimator has been introduced by Cardot, Cenac and Zitt. This work aims at studying more precisely the asymptotic behavior of the estimators of the geometric median based on such non linear stochastic gradient algorithms. The $L^{p}$ rates of convergence as well as almost sure rates of convergence of these estimators are derived in general separable Hilbert spaces. Moreover, the optimal rate of convergence in quadratic mean of the averaged algorithm is also given.

研究动机与目标

• 为了更深入理解在高维和函数型数据设置下，随机梯度算法在几何中位数估计中的渐近行为。
• 推导一般可分希尔伯特空间中罗宾斯-蒙罗算法的 $L^p$ 收敛率。
• 建立平均随机梯度算法的最优二次均值收敛率。
• 利用贝雷利-坎泰利引理和鞅大数定律等概率工具，获得标准算法与平均算法的几乎必然收敛率。
• 将理论保证从一致性扩展至非渐近的、路径上的收敛行为，以适用于鲁棒统计估计。

提出的方法

• 在希尔伯特空间中使用步长 $\gamma_n = c n^{-\alpha}$，$\alpha \in (1/2, 1)$ 的罗宾斯-蒙罗随机梯度算法，递归估计几何中位数。
• 通过对估计误差 $\|Z_n - m\|$ 的 $L^p$ 矩不等式，推导罗宾斯-蒙罗算法的 $L^p$ 收敛率。
• 应用贝雷利-坎泰利引理，将矩不等式转化为几乎必然收敛率，表明对所有 $\beta' < \alpha$，有 $\|Z_n - m\| = O(n^{-\beta'/2})$ 几乎必然成立。
• 通过将平均算法 $\overline{Z}_n$ 分解为鞅项与偏差项，利用递归更新的结构进行分析。
• 应用希尔伯特空间中鞅的大数定律，证明对所有 $\delta > 0$，有 $\frac{1}{n}\sum_{k=1}^n \xi_{k+1} = o\left(\frac{\ln^{(1+\delta)/2} n}{\sqrt{n}}\right)$ 几乎必然成立。
• 以卡多特等人（2015）的最优二次均值率为基础，推导出平均估计器的 $L^p$ 收敛率与几乎必然收敛率。

实验结果

研究问题

• RQ1 在可分希尔伯特空间中，罗宾斯-蒙罗算法在几何中位数估计中的 $L^p$ 收敛率是什么？
• RQ2 平均随机梯度算法在二次均值意义下的最优收敛率是什么？
• RQ3 标准算法与平均算法的几乎必然收敛率分别是什么？
• RQ4 罗宾斯-蒙罗算法的 $L^p$ 收敛率如何影响平均估计器的几乎必然行为？
• RQ5 希尔伯特空间中鞅的大数定律是否可用于推导平均算法的几乎必然收敛率？

主要发现

• 罗宾斯-蒙罗算法实现了 $L^p$ 收敛率 $\mathbb{E}[\|Z_n - m\|^p] = O(n^{-p(\alpha - \beta')})$，其中任意 $\beta' < \alpha$，且 $\alpha \in (1/2, 1)$。
• 罗宾斯-蒙罗算法的几乎必然收敛率为 $\|Z_n - m\| = O(n^{-\beta'/2})$ 几乎必然成立，对所有 $\beta' < \alpha$ 成立，且满足 $\alpha > \beta' > 2\alpha - 1$。
• 平均算法 $\overline{Z}_n$ 几乎必然以速率 $\|\overline{Z}_n - m\| = o(n^{-\beta/2})$ 收敛，对所有 $\beta < \alpha$ 成立，且在 $\alpha > \beta > 1/2$ 条件下成立。
• 平均算法的最优二次均值收敛率为 $\mathbb{E}[\|\overline{Z}_n - m\|^2] = O(n^{-\alpha})$，与文献中已知的最佳速率一致。
• 平均算法中鞅差项 $\sum_{k=1}^n \xi_{k+1}$ 满足 $\frac{1}{n}\sum_{k=1}^n \xi_{k+1} = o\left(\frac{\ln^{(1+\delta)/2} n}{\sqrt{n}}\right)$ 几乎必然成立，对所有 $\delta > 0$ 成立。
• 该证明框架通过验证归一化鞅增量的几乎必然收敛性，将希尔伯特空间中鞅的大数定律推广至更广范围。