[論文レビュー] Accelerating Single-Pass SGD for Generalized Linear Prediction

Qian Hong Chen, Shihong Ding+1 more|arXiv (Cornell University)|Mar 2, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は、データ依存的近傍法を用いて単一パスSGDを加速するモーメント強化ストリーミングアルゴリズム（SADA）を提案し、一般化線形予測（GLP）の最適化と統計の両面をミススペシフィケーション下で改善することを示す。ストリーミングGLP設定におけるモーメントと分散削減の関係に関する未解決問題を解決する。

ABSTRACT

We study generalized linear prediction under a streaming setting, where each iteration uses only one fresh data point for a gradient-level update. While momentum is well-established in deterministic optimization, a fundamental open question is whether it can accelerate such single-pass non-quadratic stochastic optimization. We propose the first algorithm that successfully incorporates momentum via a novel data-dependent proximal method, achieving dual-momentum acceleration. Our derived excess risk bound decomposes into three components: an improved optimization error, a minimax optimal statistical error, and a higher-order model-misspecification error. The proof handles mis-specification via a fine-grained stationary analysis of inner updates, while localizing statistical error through a two-phase outer-loop analysis. As a result, we resolve the open problem posed by Jain et al. [2018a] and demonstrate that momentum acceleration is more effective than variance reduction for generalized linear prediction in the streaming setting.

研究の動機と目的

• ストリーミングでの単一パス設定におけるGLPの加速化を動機付ける。
• 内側・外側のループの両方にモーメントを組み込んだデータ依存的近傍法アルゴリズムを開発する。
• 最適化・統計・ミススペシフィケーション誤差を含む改良された理論的過剰リスク分解を提供する。
• ミススペシフィケーション下でストリーミングGLPに対するモーメント加速が分散削減よりも優れていることを示す。

提案手法

• Stochastic Accelerated Data-Dependent Algorithm (SADA) を提案し、モーメントとデータ依存的近傍問題を組み合わせる。
• データ共分散 Σe に基づく近傍問題を外部ループで構築し、新鮮なサンプルでオンライン近似する。
• 各近傍問題を、モーメントとテール平均化を特徴とする加速内ループで解き、分散を低減する。
• モデルミススペックに対して Layer-Peeled Decomposition アプローチで内ループを分析する。
• 統計的誤差を局在化し、確率的ノイズを制御する二段階の外部ループ分析を提供する。
• 最終的な過剰リスク界を、最適化・統計・ミススペシフィケーション項に分解して導出する。

実験結果

リサーチクエスチョン

• RQ1 モデリングデータ依存的近傍フレームワークを用いて、モーメント加速をストリーミングGLPへ効果的に統合できるか？
• RQ2 ミススペシフィケーション下でモーメントはストリーミングGLPにおいて分散削減より優れるか？
• RQ3 内ループのミススペフィケーションと外ループの統計的局在化が全体の過剰リスクにどう寄与するか？
• RQ4 二重モーメントを両方のループで用いた場合の最適化・統計的複雑性はどうなるか？

主な発見

• 提案手法SADAは、ストリーミング設定において一般化線形予測のためのデュアルモーメント加速を達成する。
• 過剰リスクの界は、改善された条件付けを持つ最適化項、ミニマックス最適な統計項、そして高次のミススペシフィケーション項に分解される。
• モーメント加速はミススペシフィケーション下でストリーミングGLPに対して分散削減より優れ、Jain et al. (2018a) が提起した未解決問題を解決する。
• 最適化項は、特定の条件付け状況下で依存性を  から  に低減することで、従来のVRベース手法より改善される（特にデータの条件が悪い場合）。
• 統計項は最適速率 \operatorname{tr}(H^{-1}Q)/\varepsilon に一致し、良く条件付けられた成分におけるミニマックス最適性を支持する。
• このフレームワークは、ラベルなしデータ、ミニバッチ処理、および並列化に対応し、弱凸目的関数への拡張の可能性を含む。