[論文レビュー] Step-Size Stability in Stochastic Optimization: A Theoretical Perspective

Fabian Schaipp, Robert M. Gower+1 more|arXiv (Cornell University)|Feb 10, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は、確率的最適化手法が大きなステップサイズでどのように劣化するかを測定する理論的枠組みを開発し、SPSやNGNのような適応法がSGDよりも安定していることを示し、実験は非凸設定でも理論と整合する。

ABSTRACT

We present a theoretical analysis of stochastic optimization methods in terms of their sensitivity with respect to the step size. We identify a key quantity that, for each method, describes how the performance degrades as the step size becomes too large. For convex problems, we show that this quantity directly impacts the suboptimality bound of the method. Most importantly, our analysis provides direct theoretical evidence that adaptive step-size methods, such as SPS or NGN, are more robust than SGD. This allows us to quantify the advantage of these adaptive methods beyond empirical evaluation. Finally, we show through experiments that our theoretical bound qualitatively mirrors the actual performance as a function of the step size, even for nonconvex problems.

研究の動機と目的

• ステップサイズとともにサブ最適性がどのようにスケーリングするかを定量化する安定性指標delta_tを導入する。
• モデルベースの凸設定においてSGD・SPS・NGN・SPPのdelta_tを導出する。
• SPS・NGN・SPPの安定性指標はSGDと比べて劣化が小さい、またはステップサイズと共により有利にスケーリングすることを示す。
• 平均および最後の反復に対する非漸近的境界を、ステップサイズ・安定性・サブ最適性の関係として提供する。
• 凸および非凸のタスクで理論的な安定性境界が実際の性能を質的に反映することを実験によって示す。

提案手法

• 更新式 x_{t+1}=argmin_y f_x(y,s_t) + (1/(2 alpha_t))||y-x_t||^2 を用いたモデルベースの確率的近接点フレームワーク。
• 安定性指標 delta_t = f(x_t,s_t) - f_{x_t}(x_{t+1},s_t) - (1/(2 alpha_t))||x_{t+1}-x_t||^2 を定義。
• delta_t を計算して4つの手法 SGD・SPS・NGN・SPP を分析し、delta_t を収束境界と関連付ける。
• 凸性に基づく仮定(A1)-(A2)を用いて平均/最後の反復の非漸近的境界を導出する（定理3・4）。
• 線形（SGD）、切り詰め（SPS）、平方根（NGN）、厳密（SPP）形式へモデルを特化し、delta_t の明示的表現を得る（例：delta_t^SGD = (alpha_t/2)||g_t||^2; delta_t^SPS = tau_t[1 - tau_t/(2 alpha_t)]||g_t||^2）。
• NGNおよびSPPの解析を非凸問題での安定性に拡張し、実験で観察される非凸問題の安定性を議論する。

実験結果

リサーチクエスチョン

• RQ1 ステップサイズが大きくなると、確率的最適化手法のサブ最適性はどのように劣化するのか？
• RQ2 SGD・SPS・NGN・SPP に対する安定性指標 delta_t は何で、alpha_t とどうスケールするのか？
• RQ3 SPSやNGNのような適応ステップサイズは、凸・非凸の設定でSGDより安定性が高いのか？
• RQ4 回帰や深層学習などのタスクに対して、理論的な安定性境界は実際の性能をどれだけ良く反映するのか？

主な発見

• 安定性指標 delta_t は、手法間のステップサイズ依存性がサブ最適性にどのように影響するかを決定する。
• SPS・NGN・SPP の安定性指標は、SGD のように alpha_t に対して線形に増加しない。
• NGNとSPSは、いかなる alpha に対してもSGDより少なくとも安定であることが証明され、NGN は alpha_t が大きくなるにつれて成長がサブ線形である。
• SPP の delta_t は min{(alpha_t/2)||g_t||^2, f(x_t,s_t) - inf_y f(y,s_t)} により上界され、SGD より安定である。
• 平均と最後の反復の理論的境界は、非凸実験（例：CIFAR-10 の ResNet）および線形回帰・分類を含む凸タスクで観察される実際の性能を密接に反映する。