[논문 리뷰] On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature

Yikuan Zhang, Ning Yang외 1명|arXiv (Cornell University)|2026. 02. 05.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

이 논문은 SGD 잡음 공분산 C가 Hessian H와 직접적으로 관련되기보다는 샘플당 해essian의 2차 모멘트와 관련이 있음을 보이며, CE와 MSE가 다르게 작동하는 보편적인 1≤γ≤2 거듭제곱 법칙 Cii ∝ Hi^γ를 제시하고 실험적으로 CE와 MSE의 차이를 설명한다.

ABSTRACT

Stochastic Gradient Descent (SGD) introduces anisotropic noise that is correlated with the local curvature of the loss landscape, thereby biasing optimization toward flat minima. Prior work often assumes an equivalence between the Fisher Information Matrix and the Hessian for negative log-likelihood losses, leading to the claim that the SGD noise covariance $\mathbf{C}$ is proportional to the Hessian $\mathbf{H}$. We show that this assumption holds only under restrictive conditions that are typically violated in deep neural networks. Using the recently discovered Activity--Weight Duality, we find a more general relationship agnostic to the specific loss formulation, showing that $\mathbf{C} \propto \mathbb{E}_p[\mathbf{h}_p^2]$, where $\mathbf{h}_p$ denotes the per-sample Hessian with $\mathbf{H} = \mathbb{E}_p[\mathbf{h}_p]$. As a consequence, $\mathbf{C}$ and $\mathbf{H}$ commute approximately rather than coincide exactly, and their diagonal elements follow an approximate power-law relation $C_{ii} \propto H_{ii}^γ$ with a theoretically bounded exponent $1 \leq γ\leq 2$, determined by per-sample Hessian spectra. Experiments across datasets, architectures, and loss functions validate these bounds, providing a unified characterization of the noise-curvature relationship in deep learning.

연구 동기 및 목표

• Fisher 기반 근사에 의한 이해를 넘어 SGD 잡음에 대한 견고한 이해를 촉진한다.
• 딥 네트워크에서 SGD로 유도된 잡음이 손실 곡률과 어떻게 정렬되는지 특성화한다.
• 데이터 활동성과 가중치 교란 간의 연결고리를 제시하는 손실 무관 프레임워크(AWD)를 개발한다.
• C–H 관계를 정량화하고 스케일링 지수의 보편적 경계를 확립한다.

제안 방법

• 미니배치 활동 fluctuations를 동등한 가중치 교란으로 매핑하는 활동-가중치 이중성(AWD)을 도입한다.
• SGD 잡음 공분산 C가 E_p[h_p^2]에 비례하고 H = E_p[h_p]임을 보이며 C–H 관계가 초선형으로 나타남을 보인다.
• 해essian 고유공간에서 Cii가 Hi^γ로 스케일링되며 1 ≤ γ ≤ 2임을 이론과 실험으로 뒷받침한다.
• 주어진 suppression 실험을 통해 CE와 MSE의 차이가 per-sample 고유값과 글로벌 Hessian 방향 간의 정렬과 연결됨을 보인다.
• (Eq. 15)와 같은 스펙tral 분해 결과를 제공하여 국지적 곡률과 그 정렬이 C를 결정하는 방식을 명확히 한다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처와 손실 함수에서 SGD 잡음 공분산이 글로벌 해essian과 정렬되거나 함께 작용하는가?
• RQ2 AWD를 사용하여 C와 곡률 사이의 손실함수에 무관한 관계를 도출할 수 있는가?
• RQ3 Cii와 Hii 사이의 스케일링 법칙은 무엇이며 γ의 보편적 경계가 존재하는가?
• RQ4 왜 교차 엔트로피와 평균 제곱 오차는 실험적으로 서로 다른 γ 값을 보이는가?
• RQ5 관찰된 C–H 관계가 per-sample Hessian 스펙트럼과 글로벌 방향 간의 정렬로 설명될 수 있는가?

주요 결과

• C는 per-sample Hessians의 2차 모멘트에 비례하며: C ∝ E_p[h_p^2], H에 엄밀히 비례하지는 않다.
• 해essian 고유공간에서 C가 H와 거의 교환 가능하며 비대각 성분이 무시 가능하므로 C와 H가 구조적으로 정렬되어 있음을 시사한다.
• 대각 성분은 Cii ∝ Hi^γ로 거듭제곱적으로 스케일링되며 실험적으로 γ가 [1,2]의 범위를 따른다. 일반적으로 CE의 경우 γ>1이고 MSE의 경우 γ ≈ 1이다.
• 로컬 최저점 근처에서 보편적인 경계 1 ≤ γ ≤ 2가 성립하고, 다양한 데이터셋과 아키텍처에서도 이 범위 내에 γ가 나타난다.
• suppression 실험은 CE가 MSE보다 X–Y 상관관계(곡률의 크기와 정렬)에서 더 강한 경향을 보이며 CE의 γ가 1보다 크게 나타나도록 한다.
• AWD 프레임워크는 미니배치 활동 fluctuation을 가중치 공간의 교란으로 연결하는 손실 무관 매커니즘을 제공한다.