[논문 리뷰] A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima

Zeke Xie, Issei Sato외 1명|arXiv (Cornell University)|2020. 02. 10.

Stochastic Gradient Optimization Techniques참고 문헌 62인용 수 26

한 줄 요약

이 논문은 딥러닝에서 확률적 경사하강법(SGD)이 평탄한 최소값을 지수적으로 선호하는 이유를 설명하는 밀도 확산 이론(DDT)을 개발한다. 확률적 경사하강법의 헤시안에 의존하는 노이즈 공분산을 모델링함으로써 이 이론은 SGD가 날카운 최소값보다 평탄한 최소값을 지수적으로 더 선호함을 증명한다. 이는 백색 노이즈를 가진 경사하강법과는 대조적으로, 평탄한 최소값을 다항식적으로만 선호하는 반면, 큰 배치 크기 또는 작은 학습률로 학습할 경우 최소값을 빠져나오기 위해 지수적으로 많은 단계가 필요하다는 것을 보여준다.

ABSTRACT

Stochastic Gradient Descent (SGD) and its variants are mainstream methods for training deep networks in practice. SGD is known to find a flat minimum that often generalizes well. However, it is mathematically unclear how deep learning can select a flat minimum among so many minima. To answer the question quantitatively, we develop a density diffusion theory (DDT) to reveal how minima selection quantitatively depends on the minima sharpness and the hyperparameters. To the best of our knowledge, we are the first to theoretically and empirically prove that, benefited from the Hessian-dependent covariance of stochastic gradient noise, SGD favors flat minima exponentially more than sharp minima, while Gradient Descent (GD) with injected white noise favors flat minima only polynomially more than sharp minima. We also reveal that either a small learning rate or large-batch training requires exponentially many iterations to escape from minima in terms of the ratio of the batch size and learning rate. Thus, large-batch training cannot search flat minima efficiently in a realistic computational time.

연구 동기 및 목표

• 딥러닝에서 SGD가 항상 평탄한 최소값을 찾는 이유라는 오랫동안 남아있던 질문을 해결하기 위해.
• 최소값 선택이 날카움 정도, 배치 크기, 학습률, 그리고 경사하강법 노이즈의 구조에 따라 어떻게 달라지는지를 정량적으로 설명하는 이론을 개발하기 위해.
• 등방성 노이즈 모델과는 달리, 비등방성이고 헤시안에 의존하는 노이즈로 인해 SGD가 날카운 최소값보다 평탄한 최소값을 지수적으로 더 선호함을 공식적으로 입증하기 위해.
• 배치 크기 대 학습률의 비율에 따라 탈출 시간이 지수적으로 의존함을 드러내어, 큰 배치 크기로 학습하는 데서의 비효율성을 설명하기 위해.

제안 방법

• SGD 하에서 매개변수 분포의 진동을 모델링하는 밀도 확산 이론(DDT)을 제안하여, 동역학을 확산 과정으로 간주한다.
• 확률적 경사하강법 노이즈를 헤시안에 비례하고 배치 크기의 역수에 비례하는 공분산을 가진 것으로 모델링함으로써, 이 노이즈의 비등방성과 매개변수에 의존하는 성격을 포착한다.
• 헤시안 행렬식을 통해 최소값의 날카움 정도와 연결된 평균 탈출 시간 공식을 유도하며, 이는 학습률의 역수와 배치 크기에 대해 지수적 의존성을 보인다.
• 파동-플랑크 방정식을 사용하여 매개변수 밀도의 시간 진동을 기술함으로써, 최소값 선택 확률 분석이 가능해진다.
• 비볼록 함수, 로지스틱 회귀, 다양한 배치 크기와 학습률를 가진 딥 MLP에서의 실험을 통해 이론적 예측을 검증한다.
• 실증적으로 이론이 예측한 것과 같이, 탈출률이 최소값의 날카움 정도, 배치 크기, 학습률 증가에 따라 지수적으로 감소하는 것을 확인한다.

실험 결과

연구 질문

• RQ1 딥러닝에서 많은 국소 최소값이 존재하는 바에도 불구하고, SGD가 왜 평탄한 최소값을 선호하는가?
• RQ2 특히 헤시안에 의존하는 특성으로 인해, 확률적 경사하강법의 노이즈 구조가 최소값 선택에 어떻게 영향을 미치는가?
• RQ3 최소값에서의 탈출 시간과 하이퍼파rameter(학습률, 배치 크기) 사이의 정량적 관계는 무엇인가?
• RQ4 SGD가 평탄한 최소값을 지수적으로 선호하는 것과, 등방성 노이즈를 가진 경사하강법이 평탄한 최소값을 다항식적으로만 선호하는 것 사이의 비교는 어떠한가?
• RQ5 큰 배치 크기로 학습할 경우, 낮은 노이즈 크기로 인해 탈출 역학이 느려져 평탄한 최소값을 효율적으로 탐색하지 못하는 정도는 어느 정도인가?

주요 결과

• SGD는 확률적 경사하강법 노이즈의 헤시안에 의존하는 공분산으로 인해 비등방성이고 매개변수에 특정한 특성을 지닌다. 이로 인해 날카운 최소값보다 평탄한 최소값을 지수적으로 더 선호한다.
• 최소값에서의 평균 탈출 시간은 학습률의 역수와 배치 크기에 대해 지수적으로 증가하므로, 큰 배치 크기 또는 작은 학습률로 학습할 경우 최소값을 빠져나오기 위해 지수적으로 많은 반복이 필요하다.
• 최소값의 날카움 정도는 제2차 방향 도함수 또는 헤시안 행렬식으로 측정되며, 이에 따라 탈출률은 이에 대해 지수적으로 감소한다.
• 스티블린스키-탕 함수, 로지스틱 회귀, 딥 MLP에서의 실증적 검증을 통해 이론적 예측이 확인되었다: -log(탈출률)은 학습률 η, 배치 크기 B, 날카움 정도 k에 대해 선형적이다.
• 등방성 백색 노이즈를 가진 경사하강법은 평탄한 최소값을 날카운 최소값보다 다항식적으로만 더 선호한다. 이는 노이즈의 구조가 매우 중요하다는 점을 강조한다.
• 이 이론은 큰 배치 크기로 학습할 경우 일반화 가능한 최소값을 효율적으로 찾지 못하는 이유를 설명한다: 낮은 노이즈 크기로 인해 시스템이 지수적으로 오랜 시간 동안 최소값에 갇혀 있게 된다.