[논문 리뷰] Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise

Yuchen Fang, James Demmel외 1명|arXiv (Cornell University)|2026. 02. 13.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

논문은 확률적으로 프리컨디셔너링된 SGD(SPSGD)에서 스텝 정규화가 heavy-tailed 노이즈 하에서 최적 수렴을 달성함을 보이고, 프리컨디셔너와 그래디언트 추정치 간의 의존성으로 인해 Worst-case에서 클리핑이 실패할 수 있음을 보여준다.

ABSTRACT

We develop a worst-case complexity theory for stochastically preconditioned stochastic gradient descent (SPSGD) and its accelerated variants under heavy-tailed noise, a setting that encompasses widely used adaptive methods such as Adam, RMSProp, and Shampoo. We assume the stochastic gradient noise has a finite $p$-th moment for some $p \in (1,2]$, and measure convergence after $T$ iterations. While clipping and normalization are parallel tools for stabilizing training of SGD under heavy-tailed noise, there is a fundamental separation in their worst-case properties in stochastically preconditioned settings. We demonstrate that normalization guarantees convergence to a first-order stationary point at rate $\mathcal{O}(T^{-\frac{p-1}{3p-2}})$ when problem parameters are known, and $\mathcal{O}(T^{-\frac{p-1}{2p}})$ when problem parameters are unknown, matching the optimal rates for normalized SGD, respectively. In contrast, we prove that clipping may fail to converge in the worst case due to the statistical dependence between the stochastic preconditioner and the gradient estimates. To enable the analysis, we develop a novel vector-valued Burkholder-type inequality that may be of independent interest. These results provide a theoretical explanation for the empirical preference for normalization over clipping in large-scale model training.

연구 동기 및 목표

• SPSGD와 그 가속 버전에서 heavy-tailed 그래디언트 노이즈 하의 확률적 최적화를 동기부여하고 분석한다.
• 프리컨디셔닝된 확률적 행렬에 의해 그래디언트가 선처리될 때 클리핑과 정규화를 비교한다.
• Worst-case 수렴 보장을 확립하고 실무에서 정규화가 선호되는 이유를 설명한다.

제안 방법

• D_k와 모멘텀으로 SPSGD를 모델링하고 x_{k+1} = x_k - η D_k m_k / ||D_k m_k||를 업데이트한다.
• p-차 모멘트(p ∈ (1,2])를 가지는 heavy-tailed 노이즈 하에서 1차 정지점으로의 수렴을 보인다.
• 두 가지 속도: 이미 알려진 매개변수가 있을 때 O(T^{-(p-1)/(3p-2)}); 매개변수가 알려지지 않았을 때 O(T^{-(p-1)/(2p)})를 도출한다.
• 해당 분석에서 확률적 합을 바운드하기 위한 벡터- Burkholder-type 부등식을 도입한다.
• 정규화와 클리핑을 SPSGD 하에서의 기하학적 직관으로 비교한다.
• D_k와 그래디언트 노이즈 간의 공분산으로 인해 클리핑이 수렴하지 못하는 경우를 보인다.

실험 결과

연구 질문

• RQ1 heavy-tailed 노이즈 하에서 SPSGD의 수렴을 스텝 정규화가 보장하는가, 그리고 그 속도는 어떠한가?
• RQ2 과거 그래디언트에 의존하는 확률적 프리컨디셔너가 있을 때, Worst-case 수렴에서 클리핑과 정규화는 차이가 있는가?
• RQ3 알려진 매개변수와 알려지지 않은 매개변수가 heavy-tailed 노이즈 하의 정규화된 SPSGD의 수렴 속도에 어떻게 영향을 미치는가?
• RQ4 이 설정에서 벡터 값의 확률적 오차를 경계하는 새로운 확률 부등식이 도움이 되는가?
• RQ5 확률적 프리컨디셔닝이 있는 SPSGD에서 기하학적 관점에서 정규화가 왜 업데이트를 안정시키는지, 클리핑이 왜 지속적인 공분산을 도입할 수 있는지?

주요 결과

• 정규화는 heavy-tail로부터의 노이즈 하에서 NSGD와 일치하는 속도 O(T^{-(p-1)/(3p-2)})를 가지며 매개변수가 알려진 경우에 수렴을 보장한다. 매개변수가 알려지지 않은 경우에는 O(T^{-(p-1)/(2p)})를 보인다.
• 프리컨디셔너 D_k와 그래디언트 추정 간의 의존성으로 인해 Worst-case에서 클리핑이 수렴하지 못할 수 있다.
• 확률적 오차 항을 바운드하기 위해 벡터- Burkholder-type 부등식을 새로 개발하여 p ∈ (1,2]에서의 분석을 향상시킨다.
• 완만한 가정 하에서 정규화를 통해 전체 그래디언트 노름이 κ_D의 제곱근 인자에 의해 제어되므로 프레이밍에 대한 D_k의 강건성을 입증한다.
• 정규화가 업데이트를 안정화시키는 기하학적 설명을 제공하고, 반면 클리핑은 지속적인 공분산을 유발할 수 있음을 설명한다.