[论文解读] On Acceleration with Noise-Corrupted Gradients

Michael B. Cohen, Jelena Diakonikolas+1 more|arXiv (Cornell University)|May 31, 2018

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文提出 agd$^+$，一种新型加速一阶优化算法，其推广了 Nesterov 的 AGD，并提升了对噪声污染梯度的鲁棒性。该文对在噪声预言机下的加速性提供了理论分析，表明 agd$^+$ 相较于先前方法能降低误差的均值与方差，数值实验验证了其在高噪声环境下的稳定性，尤其是在结合重启与减速启发式策略时表现更优。

ABSTRACT

Accelerated algorithms have broad applications in large-scale optimization, due to their generality and fast convergence. However, their stability in the practical setting of noise-corrupted gradient oracles is not well-understood. This paper provides two main technical contributions: (i) a new accelerated method AGDP that generalizes Nesterov's AGD and improves on the recent method AXGD (Diakonikolas & Orecchia, 2018), and (ii) a theoretical study of accelerated algorithms under noisy and inexact gradient oracles, which is supported by numerical experiments. This study leverages the simplicity of AGDP and its analysis to clarify the interaction between noise and acceleration and to suggest modifications to the algorithm that reduce the mean and variance of the error incurred due to the gradient noise.

研究动机与目标

• 为解决在实际机器学习与优化中常见的噪声梯度预言机下加速算法的不稳定性问题。
• 开发一种新型加速方法 agd$^+$，其推广了 Nesterov 的 AGD，并在理论与实证层面均提升了对梯度噪声的鲁棒性。
• 分析噪声与加速之间的相互作用，阐明噪声如何影响加速方法中的收敛性与误差累积。
• 提出实用启发式策略——重启与减速——在不依赖噪声水平先验知识的前提下，降低高噪声环境下的误差均值与方差。
• 通过在不同噪声条件下使用真实世界数据进行的 LASSO 与逻辑回归数值实验，验证理论发现。

提出的方法

• 提出 agd$^+$ 作为一种新颖的加速算法，源自 Diakonikolas & Orecchia (2017) 的连续动力系统框架，推广了 Nesterov 的 AGD。
• 在不同预言机模型下分析 agd$^+$：确定性扰动（d’Aspremont, 2008；Devolder et al., 2014）与随机加性噪声（Ghadimi & Lan, 2012, 2013）。
• 推导理论误差界，量化梯度噪声对收敛的影响，表明其在稳定性方面优于先前的加速方法。
• 引入重启与减速启发式策略，以降低高噪声环境下的误差方差，其动机源于对噪声累积的分析洞察。
• 采用连续时间动力系统解释，统一并简化了对加速性与噪声鲁棒性的分析。
• 通过在癫痫发作识别数据集上的数值实验，对 L1 约束的 LASSO 与逻辑回归在受控噪声水平下验证该方法。

实验结果

研究问题

• RQ1 在噪声梯度预言机下，加速算法的性能如何退化？其误差累积的驱动机制是什么？
• RQ2 能否设计一种新型加速算法，在保持快速收敛的同时，比现有方法对梯度噪声更具鲁棒性？
• RQ3 在加速一阶方法中，梯度预言机中的噪声与收敛误差之间的理论关系是什么？
• RQ4 在不依赖噪声方差先验知识的前提下，重启与减速启发式策略在多大程度上能降低高噪声环境下的误差均值与方差？
• RQ5 在不同噪声水平下，agd$^+$ 在收敛速度与稳定性方面与 AGD、axgd 及其他加速方法相比如何？

主要发现

• 在低噪声与无噪声环境下，agd$^+$ 的收敛速度优于标准 AGD，且在均值误差降低方面优于 axgd 与 agd$^+$。
• 在高噪声环境下，agd$^+$ 与 axgd 的误差均值与方差显著低于标准 AGD，后者表现出不稳定性与高方差。
• 重启与减速启发式策略显著降低了高噪声环境下的误差方差，尤其稳定了 agd$^+$，但对均值误差的改善不显著。
• 在 LASSO 与逻辑回归上的数值实验表明，agd$^+$ 在重复运行中保持了更优的稳定性，尤其在高噪声条件下。
• 理论分析表明，agd$^+$ 在随机噪声下的误差界比先前加速方法更紧，尤其在强凸情况下。
• 研究表明，噪声鲁棒性并非加速的固有属性，通过算法改进（如使用聚合梯度信息）可显著提升稳定性。