[논문 리뷰] The Heavy-Tail Phenomenon in SGD

Mert Gürbüzbalaban, Umut Şimşekli외 1명|arXiv (Cornell University)|2020. 06. 08.

Stochastic Gradient Optimization Techniques참고 문헌 56인용 수 38

한 줄 요약

본 논문은 SGD 반복이 2차 설정에서 무거운 꼬리를 가진 정상 분포로 수렴할 수 있음을 증명하며, 꼬리의 무거움은 stepsize, batch size, dimension, curvature에 의해 결정되고, 신경망 실험으로 이를 확인한다.

ABSTRACT

In recent years, various notions of capacity and complexity have been proposed for characterizing the generalization properties of stochastic gradient descent (SGD) in deep learning. Some of the popular notions that correlate well with the performance on unseen data are (i) the `flatness' of the local minimum found by SGD, which is related to the eigenvalues of the Hessian, (ii) the ratio of the stepsize $η$ to the batch-size $b$, which essentially controls the magnitude of the stochastic gradient noise, and (iii) the `tail-index', which measures the heaviness of the tails of the network weights at convergence. In this paper, we argue that these three seemingly unrelated perspectives for generalization are deeply linked to each other. We claim that depending on the structure of the Hessian of the loss at the minimum, and the choices of the algorithm parameters $η$ and $b$, the SGD iterates will converge to a \emph{heavy-tailed} stationary distribution. We rigorously prove this claim in the setting of quadratic optimization: we show that even in a simple linear regression problem with independent and identically distributed data whose distribution has finite moments of all order, the iterates can be heavy-tailed with infinite variance. We further characterize the behavior of the tails with respect to algorithm parameters, the dimension, and the curvature. We then translate our results into insights about the behavior of SGD in deep learning. We support our theory with experiments conducted on synthetic data, fully connected, and convolutional neural networks.

연구 동기 및 목표

• 용량(capacity)와 복잡성 개념이 딥 러닝에서의 SGD 일반화와 어떤 관련이 있는지 동기를 부여한다.
• SGD 반복이 특정 알고리즘적 및 문제 설정에서 무거운 꼬리를 가진 정상 분포로 수렴할 수 있음을 보인다.
• tail- heaviness가 stepsize, batch size, dimension, curvature에 어떻게 의존하는지 특징화한다.
• 선형/이차 설정에서 엄밀한 결과를 제시하고 이를 딥 러닝 관측과 연결한다.
• 합성 데이터와 신경망 실험으로 이론을 보강한다.

제안 방법

• SGD를 x_k = Psi_Omega_k(x_{k-1})인 반복 무작위 재귀로 모델링한다.
• 이차 최소값 근처에서의 SGD를 선형 재귀 x_k ≈ (I - (eta/b) H_k) x_{k-1} + q_k로 근사한다.
• 꼬리 지수 alpha를 h(alpha)=1로 도출하기 위해 암시적 재생 이론과 확률 행렬 재귀를 적용한다.
• 가우시안 입력일 때 꼬리의 무거움이 배치 크기 b에 따라 증가하고, 학습률 eta 및 분산에 따라 감소함을 보인다.
• alpha가 2와의 비교에 따라 3가지 구간으로 결정되며, eta와 b에 따른 수렴 특성을 제시한다.
• 비점근적 모멘트 한계 및 Wasserstein 거리 수렴 결과를 제시한다.

실험 결과

연구 질문

• RQ1 SGD가 표준 이차/선형 회귀 설정에서 무거운 꼬리를 가지는 정상 분포로 수렴하는가?
• RQ2 STEPsize, batch size, dimension, curvature가 SGD 정상 분포의 꼬리 지수에 어떤 영향을 주는가?
• RQ3 가우시안 및 비가우시안 데이터 모델에서 꼬리의 무거움을 알고리즘 매개변수와 명시적으로 relate할 수 있는가?
• RQ4 딥 러닝에서 꼬리의 무거움이 수렴 속도와 일반화에 어떤 함의를 갖는가?
• RQ5 신경망 실험이 이론적 무거운 꼬리 거동을 뒷받침하는가?

주요 결과

• SGD 반복은 2차/선형 회귀에서도 경향적으로 무거운 꼬리를 가지는 정상 분포를 갖고, 데이터가 경향적으로 경미한 꼬리일지라도 분포의 꼬리는 무거워진다.
• h(alpha) = 1을 만족하는 고유한 양의 α가 존재하며, 이를 통해 꼬리 감소가 결정되고 u^T x_infty는 차수 α의 다항 꼬리를 갖는다.
• 가우시안 입력의 경우 꼬리의 무거움은 곡률과 eta/b 비율이 커짐에 따라 증가하고, 배치 크기 b가 커지면 감소한다.
• rho < 0일 때 순분포는 Wasserstein 거리에서 지수적으로 수렴한다.
• 세 가지 구간이 확인된다: 분산이 한정되는 경우(alpha > 2), 무거운 꼬리(alpha < 2), eta와 b에 따라 수렴하지 않을 수 있는 경우(rho >= 0).
• alpha <= 1일 때 x_k의 특정 모멘트는 유한하고, alpha > 1일 때 더 높은 모멘트는 명시적 경계로 제어된다.