[論文レビュー] On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature

Yikuan Zhang, Ning Yang+1 more|arXiv (Cornell University)|Feb 5, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は SGD ノイズ共分散 C が各サンプルのヘッセ行列の二次モーメントと関係し、Hessian H そのものには直接関係しないことを示し、普遍的な 1≤γ≤2 のべき法則 Cii ∝ Hi^γ、CE と MSE がそれぞれ異なる挙動をとる。データセット／アーキテクチャを跨ぐ経験的結果が境界を検証し、CE/MSE のズレを各サンプルのヘッセ行列スペクトルと整合性を通じて説明する。

ABSTRACT

Stochastic Gradient Descent (SGD) introduces anisotropic noise that is correlated with the local curvature of the loss landscape, thereby biasing optimization toward flat minima. Prior work often assumes an equivalence between the Fisher Information Matrix and the Hessian for negative log-likelihood losses, leading to the claim that the SGD noise covariance $\mathbf{C}$ is proportional to the Hessian $\mathbf{H}$. We show that this assumption holds only under restrictive conditions that are typically violated in deep neural networks. Using the recently discovered Activity--Weight Duality, we find a more general relationship agnostic to the specific loss formulation, showing that $\mathbf{C} \propto \mathbb{E}_p[\mathbf{h}_p^2]$, where $\mathbf{h}_p$ denotes the per-sample Hessian with $\mathbf{H} = \mathbb{E}_p[\mathbf{h}_p]$. As a consequence, $\mathbf{C}$ and $\mathbf{H}$ commute approximately rather than coincide exactly, and their diagonal elements follow an approximate power-law relation $C_{ii} \propto H_{ii}^γ$ with a theoretically bounded exponent $1 \leq γ\leq 2$, determined by per-sample Hessian spectra. Experiments across datasets, architectures, and loss functions validate these bounds, providing a unified characterization of the noise-curvature relationship in deep learning.

研究の動機と目的

• Fisher ベースの近似を超えた SGD ノイズの堅牢な理解を動機づける。
• 深層ネットワークにおける SGD によるノイズと損失曲率の整合性を特徴付ける。
• データ活性と重み摂動を結ぶロス非依存のフレームワーク(AWD)を開発する。
• C–H の関係を定量化し、スケーリング指数の普遍的境界を確立する。

提案手法

• ミニバッチ活性フラクチュエーションを等価な重み摂動へ写像する「Activity–Weight Duality (AWD)」を導入する。
• SGD ノイズ共分散 C ∝ E_p[h_p^2]、H = E_p[h_p] を示し、C–H の超線形関係を示す。
• ヘッセ行列固有ベースにおいて Cii が Hi^γ にスケールし、1 ≤ γ ≤ 2 を理論と実験で裏付ける。
• 抑制実験を行い、CE と MSE の差異を各サンプル固有値と全体のヘッセ直線方向との整合性に結びつけて説明する。
• 局所曲率とその整合性が C を決定することを明らかにするスペクトル分解結果 (式( Eq. 15)) を提供する。

実験結果

リサーチクエスチョン

• RQ1 SGD ノイズ共分散はアーキテクチャや損失関数を超えてグローバルなヘッセ行列と整列・可換になるか。
• RQ2 AWD を用いて C と曲率のロス関数非依存の関係を導出できるか。
• RQ3 Cii と Hii の間のスケーリング法則は何で、指数 γ の普遍的境界は存在するか。
• RQ4 実務上、CE と MSE で γ の値が異なる理由は何か。
• RQ5 観測された C–H 関係は、各サンプルのヘッセ行列スペクトルと global な方向との整合性によって説明できるか。

主な発見

• C は各サンプルのヘッセ行列の二次モーメントには比例するが、H そのものには厳密には比例しない。
• ヘッセ固有ベースでは C が H とほぼ可換で、角符号のオフ対角成分が無視できるため、C と H は構造的に整合している。
• 対角成分は Cii ∝ Hi^γ のべき法則に従い、実験的に γ が [1,2] の範囲、CE では通常 γ>1、MSE では γ ≈ 1。
• 局所極小近傍では普遍的境界 1 ≤ γ ≤ 2 が成立し、実験結果はデータセットやアーキテクチャを跨いでこの範囲内を示す。
• 抑制実験により CE は X–Y 相関（曲率の大きさと整合性）を MSE より強く示し、CE の γ>1 を引き起こす。
• AWD フレームワークは、ミニバッチ活性の変動を重み空間の摂動に結びつけ、C を決定するロス非依存の機構を提供する。