[논문 리뷰] Logarithmic landscape and power-law escape rate of SGD.

T. Mori, Liu Ziyin외 2명|arXiv (Cornell University)|2021. 05. 20.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 시간 변수를 변환하여 다중성 소음을 가중 소음으로 전환함으로써 확률적 경사 하강법(SGD)에 대한 스토하스틱 미분 방정식(SDE)을 유도한다. 이로써 네트워크 파라미터의 정적 분포가 손실의 로그에 대해 거듭제곱 법칙을 따른다는 것이 드러나며, 국소 최소점에서의 탈출 속도는 로그화된 손실 장벽 높이에 따라 결정된다. 이는 SGD가 효율 차원이 낮은 평탄한 최소점들을 선호하는 이유를 설명한다.

ABSTRACT

Stochastic gradient descent (SGD) undergoes complicated multiplicative noise for the mean-square loss. We use this property of the SGD noise to derive a stochastic differential equation (SDE) with simpler additive noise by performing a non-uniform transformation of the time variable. In the SDE, the gradient of the loss is replaced by that of the logarithmized loss. Consequently, we show that, near a local or global minimum, the stationary distribution $P_\mathrm{ss}( heta)$ of the network parameters $ heta$ follows a power-law with respect to the loss function $L( heta)$, i.e. $P_\mathrm{ss}( heta)\propto L( heta)^{-\phi}$ with the exponent $\phi$ specified by the mini-batch size, the learning rate, and the Hessian at the minimum. We obtain the escape rate formula from a local minimum, which is determined not by the loss barrier height $\Delta L=L( heta^s)-L( heta^*)$ between a minimum $ heta^*$ and a saddle $ heta^s$ but by the logarithmized loss barrier height $\Delta\log L=\log[L( heta^s)/L( heta^*)]$. Our escape-rate formula explains an empirical fact that SGD prefers flat minima with low effective dimensions.

연구 동기 및 목표

• SGD의 소음 성질을 모델링하여 국소 최소점 근처에서의 통계적 행동을 이해하기 위해.
• 평균 제곱 손실에서 SGD의 다중성 소음 분석을 복잡하게 만드는 문제를 해결하기 위해.
• 비균일한 시간 변환을 통해 다중성 소음을 가중 소음으로 단순화한 SDE를 유도하기 위해.
• 로그화된 손실에 대해 네트워크 파라미터의 정적 분포를 특성화하기 위해.
• 탈출 속도 공식을 통해 SGD가 효율 차원이 낮은 평탄한 최소점들을 왜 선호하는지 설명하기 위해.

제안 방법

• SGD의 다중성 소음을 가중 소음으로 전환하기 위해 비균일한 시간 변환을 적용하기 위해.
• 손실의 기울기를 로그화된 손실의 기울기로 대체한 SDE를 유도하기 위해.
• 최소점에서의 헤시안과 미니배치 크기를 사용하여 거듭제곱 법칙 정적 분포의 지수 φ를 결정하기 위해.
• 국소 최소점에서의 탈출 속도를 로그 손실 장벽 높이 ΔlogL = log[L(θs)/L(θ*)]로 모델링하기 위해.
• 최소점 근처에서 정적 분포 P_ss(θ) ∝ L(θ)^{-φ}임을 보이며, 이 φ는 학습률, 미니배치 크기, 헤시안에 따라 달라진다.
• 탈출이 원래 손실 차이가 아닌 로그 손실 차이에 의해 결정되며, 이는 평탄한 최소점 선호로 이어진다.

실험 결과

연구 질문

• RQ1 SGD의 다중성 소음은 국소 최소점 근처에서 네트워크 파라미터의 정적 분포에 어떻게 영향을 미치는가?
• RQ2 다중성 소음을 가중 소음으로 전환하여 SGD의 SDE를 단순화하는 데 사용되는 변환은 무엇인가?
• RQ3 국소 최소점에서의 탈출 속도는 손실 값에 따라 어떻게 결정되는가?
• RQ4 왜 SGD는 효율 차원이 낮은 평탄한 최소점들을 선호하는가?
• RQ5 SGD 하에서 파라미터의 정적 분포의 기능적 형태는 무엇이며, 이는 손실 곡면에 어떻게 의존하는가?

주요 결과

• 최소점 근처에서 SGD 파라미터의 정적 분포는 거듭제곱 법칙을 따른다: P_ss(θ) ∝ L(θ)^{-φ}, 여기서 φ는 학습률, 미니배치 크기, 최소점에서의 헤시안에 따라 달라진다.
• 국소 최소점에서의 탈출 속도는 원래 손실 차이 ΔL 가 아니라 로그 손실 장벽 높이 ΔlogL = log[L(θs)/L(θ*)]에 의해 결정된다.
• SGD는 로그 장벽 높이가 낮은 경우에 특히 날카로운 최소점에 더 강한 벌칙을 가하기 때문에, 평탄한 최소점들을 선호한다.
• 비균일한 시간 변수로의 변환은 정확한 SDE와 가중 소음을 가능하게 하여 SGD 동역학 분석을 단순화한다.
• 유도된 탈출 속도 공식은 SGD가 효율 차원이 낮은 최소점으로 수렴할수록 일반화 성능이 더 좋다는 경험적 관측을 설명한다.
• 정적 분포의 거듭제곱 법칙 행동은 저손실 영역이 더 확률적으로 높다는 것을 암시하지만, 이는 로그 손실 척도에 의해 가중된 경우에만 해당한다.