[논문 리뷰] A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks

Umut Şimşekli, Levent Sagun외 1명|arXiv (Cornell University)|2019. 01. 17.

Gaussian Processes and Bayesian Inference참고 문헌 57인용 수 69

한 줄 요약

본 논문은 심층 신경망의 확률적 그래디언트 노이즈가 무거운 꼬리(alpha-stable)임을 보여주고, SGD를 Levy-주도 SDE로 분석하며, 실험을 통해 비가우시안 꼬리와 두 가지 SGD 단계를 확인한다.

ABSTRACT

The gradient noise (GN) in the stochastic gradient descent (SGD) algorithm is often considered to be Gaussian in the large data regime by assuming that the classical central limit theorem (CLT) kicks in. This assumption is often made for mathematical convenience, since it enables SGD to be analyzed as a stochastic differential equation (SDE) driven by a Brownian motion. We argue that the Gaussianity assumption might fail to hold in deep learning settings and hence render the Brownian motion-based analyses inappropriate. Inspired by non-Gaussian natural phenomena, we consider the GN in a more general context and invoke the generalized CLT (GCLT), which suggests that the GN converges to a heavy-tailed $\\alpha$-stable random variable. Accordingly, we propose to analyze SGD as an SDE driven by a L\\'{e}vy motion. Such SDEs can incur `jumps', which force the SDE transition from narrow minima to wider minima, as proven by existing metastability theory. To validate the $\\alpha$-stable assumption, we conduct extensive experiments on common deep learning architectures and show that in all settings, the GN is highly non-Gaussian and admits heavy-tails. We further investigate the tail behavior in varying network architectures and sizes, loss functions, and datasets. Our results open up a different perspective and shed more light on the belief that SGD prefers wide minima.

연구 동기 및 목표

• SGD에서의 가우시안 노이즈 가정과 그것의 CLT 기반 SDE 분석에 의문을 제기한다.
• 확률적 그래디언트 노이즈에 대한 알파-안정(alpha-stable, 무거운 꼬리) 모델을 제안하고 검증한다.
• 꼬리 특성을 SGD 역학과 메타안정성 이론을 통해 넓은 최소값을 찾으려는 경향과 연결한다.
• 꼬리 지수 alpha가 아키텍처, 데이터셋, 배치 크기에 따라 어떻게 달라지는지 경험적으로 특징화한다.

제안 방법

• 꼬리 지수 alpha를 갖는 확률적 그래디언트 노이즈에 대해 알파-안정(SalphaS) 노이즈 모델을 채택한다.
• 알파가 2 미만일 때 SGD의 연속시간 극한으로 Lévy 주도 SDE를 도출한다.
• 알파-안정 분포용으로 설계된 꼬리 지수 추정기를 사용하여 그래디언트 노이즈 샘플에서 alpha를 추정한다.
• MNIST, CIFAR-10, CIFAR-100에서 깊이와 너비, 미니배치 크기를 다양하게 조합한 FCN 및 CNN 아키텍처에 걸쳐 광범위한 실험을 수행한다.
• Lévy 노이즈하에서의 메타안정성과 첫 탈출 동역사를 분석하고, 점프와 두 가지 SGD 단계를 강조한다.

실험 결과

연구 질문

• RQ1 심층 네트워크의 확률적 그래디언트 노이즈가 알파-안정(alpha-stable, 무거운 꼬리)이며 가우시안이 아닌가?
• RQ2 꼬리 지수 alpha는 네트워크 크기, 아키텍처, 데이터셋 및 미니배치 크기에 따라 어떻게 달라지는가?
• RQ3 알파-안정 노이즈가 SGD 역학, 메타안정성, 그리고 넓은 최소값 선호에 어떤 함의를 가지는가?
• RQ4 초기 반복 역학에서 alpha의 점프가 발생하고 그것이 정확도 향상과 상관관계가 있는가?

주요 결과

• 확률적 그래디언트 노이즈는 구성마다 비가우시안이며 무거운 꼬리를 가지는 경우가 많다.
• 미니배치 크기를 늘려도 꼬리 지수 alpha에는 거의 영향을 미치지 않는다.
• 꼬리 지수 alpha는 아키텍처, 데이터셋, 네트워크 크기에 의해 좌우되며 SGD 역학에 영향을 준다.
• 두 가지 구분된 SGD 단계가 관찰되었다: alpha가 초기에는 급격히 감소하고, 그 뒤 점프가 발생한 후 정확도가 개선되면서 alpha가 안정화된다.
• 두 단계의 거동은 메타안정성 이론을 지지한다: alpha가 최저값일 때 점프가 발생한다.
• CIFAR 데이터셋의 경우 많은 구성에서 alpha 값이 1.0–1.2 범위에 있어 무거운 꼬리를 나타낸다.