[论文解读] Recursive estimation of the conditional geometric median in Hilbert spaces

Hervé Cardot, Peggy Cénac+1 more|arXiv (Cornell University)|Apr 14, 2012

Statistical Methods and Inference参考文献 19被引用 11

一句话总结

该论文提出了一种递归随机梯度算法，用于在希尔伯特空间中估计条件几何中位数，通过核加权的 $L_1$ 最小化实现稳健的在线估计。在条件分布和带宽序列的弱正则性条件下，建立了平均估计器的几乎必然收敛性、$L^2$ 收敛速率以及渐近正态性，且收敛速率达到最优。

ABSTRACT

A recursive estimator of the conditional geometric median in Hilbert spaces is studied. It is based on a stochastic gradient algorithm whose aim is to minimize a weighted L1 criterion and is consequently well adapted for robust online estimation. The weights are controlled by a kernel function and an associated bandwidth. Almost sure convergence and L2 rates of convergence are proved under general conditions on the conditional distribution as well as the sequence of descent steps of the algorithm and the sequence of bandwidths. Asymptotic normality is also proved for the averaged version of the algorithm with an optimal rate of convergence. A simulation study confirms the interest of this new and fast algorithm when the sample sizes are large. Finally, the ability of these recursive algorithms to deal with very high-dimensional data is illustrated on the robust estimation of television audience profiles conditional on the total time spent watching television over a period of 24 hours.

研究动机与目标

• 开发一种在希尔伯特空间中对条件几何中位数进行稳健、在线估计的算法，避免存储大规模数据集。
• 解决传统条件期望估计器在高维或函数型数据中对异常值敏感的问题。
• 将递归估计技术扩展至几何中位数，利用核加权的 $L_1$ 准则对条件分布进行近似。
• 为平均递归算法建立强渐近性质——几乎必然收敛性、$L^2$ 收敛速率及渐近正态性。
• 在大规模高维数据（如电视观众画像）上展示该方法的高效性与可扩展性。

提出的方法

• 使用递归随机梯度算法，通过最小化核加权的经验 $L_1$ 准则来估计条件几何中位数。
• 引入由带宽序列控制的核权重，该序列递减至零，以实现对条件分布的局部近似。
• 对递归估计器应用平均化技术，以实现渐近正态性及最优收敛速率。
• 采用希尔伯特空间框架以处理函数型或高维数据，其中几何中位数通过最小化 $\mathbb{E}[\|Y - \alpha\| - \|Y\|]$ 定义。
• 在以条件分布之间的马洛斯-瓦瑟斯坦距离表达的弱正则性条件下，推导收敛结果。
• 利用鞅理论与集中不等式，证明平均估计器的几乎必然收敛性与渐近正态性。

实验结果

研究问题

• RQ1 基于随机梯度下降的递归算法能否在希尔伯特空间中对条件几何中位数提供一致估计？
• RQ2 在条件分布的一般条件下，核加权递归估计器是否能达到最优的 $L^2$ 收敛速率？
• RQ3 递归估计器的平均版本是否具有渐近正态性，且其极限分布与静态经验最小化器相同？
• RQ4 在不同下降步长与带宽序列下，该算法在鲁棒性与稳定性方面表现如何？
• RQ5 该方法能否有效处理大规模高维函数型数据，如电视观看行为画像？

主要发现

• 在条件分布与带宽序列的温和正则性条件下，递归估计器以概率 1 收敛于真实的条件几何中位数。
• 平均递归估计器的 $L^2$ 收敛速率达到最优，与静态经验最小化器的速率一致。
• 已建立平均估计器的渐近正态性，其极限分布与静态估计器相同。
• 模拟结果表明，该算法在鲁棒性与稳定性方面表现良好，尤其在不同下降步长下表现稳定。
• 该方法在高维数据处理中表现有效，如在总观看时间条件下对电视观众画像的稳健估计。
• 理论结果通过马洛斯-瓦瑟斯坦距离量化条件分布的正则性，从而允许弱假设。