[논문 리뷰] A Diffusion Theory for Deep Learning Dynamics: Stochastic Gradient Descent Escapes From Sharp Minima Exponentially Fast.

Zeke Xie, Issei Sato외 1명|arXiv (Cornell University)|2020. 02. 10.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 12

한 줄 요약

이 논문은 헤시안에 의존하는 노이즈 공분산으로 인해 확률적 경사하강법(SGD)이 날카로운 최소값보다 평탄한 최소값을 지수적으로 더 선호하는 이유를 설명하기 위해 밀도 확산 이론(DDT)을 제안한다. 이는 SGD가 날카로운 최소값에서 지수적으로 빠르게 탈출하는 반면, 흰색 노이즈를 가진 경사하강법(GD)은 다항식적으로만 탈출하며, 큰 배치 크기로 학습할 경우 평탄한 최소값에 도달하기 위해 지수적으로 많은 반복을 요구하기 때문에 실용적으로 효율성이 떨어진다는 것을 증명한다.

ABSTRACT

Stochastic Gradient Descent (SGD) and its variants are mainstream methods for training deep networks in practice. SGD is known to find a flat minimum that often generalizes well. However, it is mathematically unclear how deep learning can select a flat minimum among so many minima. To answer the question quantitatively, we develop a density diffusion theory (DDT) to reveal how minima selection quantitatively depends on the minima sharpness and the hyperparameters. To the best of our knowledge, we are the first to theoretically and empirically prove that, benefited from the Hessian-dependent covariance of stochastic gradient noise, SGD favors flat minima exponentially more than sharp minima, while Gradient Descent (GD) with injected white noise favors flat minima only polynomially more than sharp minima. We also reveal that either a small learning rate or large-batch training requires exponentially many iterations to escape from minima in terms of the ratio of the batch size and learning rate. Thus, large-batch training cannot search flat minima efficiently in a realistic computational time.

연구 동기 및 목표

• SGD가 많은 최소값이 존재하는 상황에서도 왜 일반화가 잘 되는 평탄한 최소값을 정량적으로 선택하는지 설명하는 것.
• 확률적 경사 노이즈가 딥러닝에서 최소값 선택에 영향을 주는 수학적 메커니즘을 명확히 하는 것.
• 특히 수렴 속도 측면에서 SGD와 흰색 노이즈를 가진 GD 간의 날카로운 최소값 탈출 효율성을 비교하는 것.
• 특히 현실적인 시간 제약 조건 하에서 큰 배치 크기로 학습할 경우 평탄한 최소값에 도달하는 데 드는 계산 비용을 조사하는 것.

제안 방법

• SGD의 확률적 역학을 손실 곡면 내의 확산 과정으로 모델링하기 위해 밀도 확산 이론(DDT)을 개발한다.
• SGD의 확률적 미분방정식(SDE)에서 유도된 포커-플랑크 방정식을 분석하여 최소값에서의 탈출 속도를 날카로움과 노이즈 공분산에 따라 정량화한다.
• 확률적 경사의 곡률에 따라 달라지는 행동을 포착하기 위해 헤시안 행렬을 노이즈 공분산에 통합한다.
• 최소값에서의 탈출 시간에 대한 해석적 표현을 유도하여, 최소값의 날카로움과 배치 크기 대 학습률 비율에 따른 지수적 의존성을 보여준다.
• 헤시안에 의존하는 노이즈를 가진 SGD의 탈출 역학을 흰색 노이즈를 가진 GD와 비교하여 다항식적 vs. 지수적 스케일링의 차이를 드러낸다.

실험 결과

연구 질문

• RQ1 최소값의 곡률(날카로움)이 SGD가 그 최소값에서 탈출하는 데 걸리는 시간에 어떤 영향을 미치는가?
• RQ2 SGD가 왜 날카로운 최소값보다 평탄한 최소값을 선호하는가? 이 선호의 수학적 메커니즘은 무엇인가?
• RQ3 배치 크기 대 학습률 비율이 큰 배치 크기로 학습할 경우 최소값에서 탈출하는 데 드는 계산 비용에 어떤 영향을 미치는가?
• RQ4 헤시안에 의존하는 노이즈를 가진 SGD와 흰색 노이즈를 가진 GD 사이의 탈출 효율성에는 어떤 차이가 있는가?

주요 결과

• SGD는 헤시안에 의존하는 노이즈 공분산으로 인해 날카로운 최소값에서 평탄한 최소값보다 지수적으로 더 빠르게 탈출하며, 이는 평탄한 최소값을 지수적으로 더 선호함을 의미한다.
• 반대로, 흰색 노이즈를 가진 GD는 날카로운 최소값보다 평탄한 최소값을 다항식적으로만 더 선호하므로, 상대적으로 훨씬 약한 선택 메커니즘이다.
• 큰 배치 크기로 학습할 경우 최소값에서 탈출하기 위해 지수적으로 많은 반복을 요구하므로, 현실적인 시간 내에 평탄한 최소값을 찾는 데는 비효율적이다.
• 최소값에서의 탈출 시간은 배치 크기 대 학습률 비율에 따라 지수적으로 증가하므로, 학습 하이퍼파rameter 간의 근본적인 상충 관계를 드러낸다.