[论文解读] $L^{p}$ and almost sure rates of convergence of averaged stochastic gradient algorithms with applications to online robust estimation

Antoine Godichon‐Baggioni|arXiv (Cornell University)|Sep 18, 2016

Statistical Methods and Inference参考文献 16被引用 8

一句话总结

本文在高维空间和函数空间中建立了平均随机梯度算法的通用 $L^p$ 和几乎必然收敛速率，为在线鲁棒估计提供了统一的理论框架。研究表明，在梯度噪声满足凸性和矩条件时，平均估计量相比标准随机梯度方法实现了更优的收敛速率。

ABSTRACT

It is more and more usual to deal with large samples taking values in high dimensional spaces such as functional spaces. Moreover, many usual estimators are defined as the solution of a convex problem depending on a random variable. In this context, Robbins-Monro algorithms and their averaged versions are good candidate to approximate the solution of these kinds of problem. Indeed, they usually do not need too much computational efforts, do not need to store all the data, which is crucial when we deal with big data, and allow to simply update the estimators, which is interesting when the data arrive sequentially. The aim of this work is to give a general framework which is sufficient to get asymptotic and non asymptotic rates of convergence of stochastic gradient estimates as well as of their averaged versions and to give application to online robust estimation.

研究动机与目标

• 为高维和函数型数据场景下平均随机梯度算法的收敛速率分析建立通用的理论框架。
• 为标准和平均随机梯度估计量建立非渐近和渐近的 $L^p$ 及几乎必然收敛速率。
• 将该框架应用于数据按顺序到达、完整存储不可行的在线鲁棒估计问题。
• 证明在较弱的矩条件和凸性假设下，平均化可提升收敛速率，优于非平均随机梯度方法。

提出的方法

• 采用凸随机优化框架建模问题，其中目标函数为随机凸函数的期望。
• 应用平均随机梯度算法（ASGAs）通过在线数据迭代更新估计量，避免完整存储数据。
• 通过鞅型论证和矩不等式分析估计误差的矩，推导出 $L^p$ 收敛速率。
• 结合迭代序列的几乎必然收敛性、矩界以及 Borel-Cantelli 型论证，建立几乎必然收敛速率。
• 对梯度噪声施加条件，如矩有界性和一致可积性，以确保收敛性。
• 采用通用框架，通过假设目标函数具有适当的正则性和增长条件，使其适用于函数型数据和高维空间。

实验结果

研究问题

• RQ1 在高维和函数空间中，平均随机梯度算法的非渐近 $L^p$ 收敛速率是什么？
• RQ2 在相同条件下，平均估计量的收敛速率与标准随机梯度估计量相比如何？
• RQ3 平均随机梯度算法的几乎必然收敛在目标函数和梯度噪声的何种一般条件下成立？
• RQ4 所提出的框架能否应用于流式数据和有限内存条件下的在线鲁棒估计？

主要发现

• 本文在相同矩条件下，建立了平均随机梯度估计量的 $L^p$ 收敛速率，其优于非平均版本。
• 在梯度噪声的矩条件和可积性条件较弱时，证明了平均估计量的几乎必然收敛性。
• 该框架适用于函数型和高维空间，适用于具有复杂数据结构的现代大数据问题。
• 结果表明，平均化可提升收敛速率，尤其在降低方差和提高估计量稳定性方面表现更优。