[论文解读] Accelerating Single-Pass SGD for Generalized Linear Prediction

Qian Hong Chen, Shihong Ding+1 more|arXiv (Cornell University)|Mar 2, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

本论文提出一种动量增强的流式算法（SADA），使用数据相关的近端方法来加速单遍 SGD 在广义线性预测中的应用，在模型失配下实现更优的优化与统计项。它解决了流式 GLP 设置中动量与方差约简的开放性问题。

ABSTRACT

We study generalized linear prediction under a streaming setting, where each iteration uses only one fresh data point for a gradient-level update. While momentum is well-established in deterministic optimization, a fundamental open question is whether it can accelerate such single-pass non-quadratic stochastic optimization. We propose the first algorithm that successfully incorporates momentum via a novel data-dependent proximal method, achieving dual-momentum acceleration. Our derived excess risk bound decomposes into three components: an improved optimization error, a minimax optimal statistical error, and a higher-order model-misspecification error. The proof handles mis-specification via a fine-grained stationary analysis of inner updates, while localizing statistical error through a two-phase outer-loop analysis. As a result, we resolve the open problem posed by Jain et al. [2018a] and demonstrate that momentum acceleration is more effective than variance reduction for generalized linear prediction in the streaming setting.

研究动机与目标

• 在流式、单遍设置中为广义线性预测（GLP）提效动力。
• 开发一个数据相关的近端算法，在内循环和外循环中同时引入动量。
• 提供一个更精炼的理论超额风险分解，涵盖优化、统计与失配误差。
• 证明在失配条件下，动量加速在流式 GLP 中可超过方差约简。

提出的方法

• 提出随机加速数据相关算法（SADA），将动量与数据相关的近端子问题结合。
• 使用外循环基于数据协方差 Σe 构造近端子问题，该协方差通过新鲜样本在线近似。
• 通过带有动量和尾部平均的加速内循环解决每个近端子问题以降低方差。
• 在带模型错误设定的情形下，用分层剥离分解法分析内循环。
• 提供两阶段的外循环分析，将统计误差本地化并控制随机噪声。
• 推导最终的超额风险界限，分解为优化、统计和失配项。

实验结果

研究问题

• RQ1 动量加速是否能有效地融入数据相关近端框架的流式广义线性预测？
• RQ2 在模型失配下，动量是否优于流式 GLP 的方差约简？
• RQ3 内循环失配和外循环统计局部化对总体超额风险有何贡献？
• RQ4 在双循环中使用双重动量时，优化与统计复杂度如何？

主要发现

• 所提出的 SADA 算法在流式情境下实现了对广义线性预测的双重动量加速。
• 超额风险界限分解为经过改进调节的优化项、达到极限的统计项，以及较高阶的失配项。
• 在失配条件下，动量加速比方差约简更有利于流式 GLP，解决了 Jain 等人（2018a）提出的未解问题。
• 在某些条件数情形下，优化项相较于以往基于 VR 的方法实现了对依赖的下降，从而在数据条件较差时表现更好。
• 统计项达到最优速度 \operatorname{tr}(H^{-1}Q)/\varepsilon，支持在充分条件下的极小极大最优性。
• 该框架支持无标签数据、小批量和并行化，且可扩展至弱凸目标。