[논문 리뷰] Stochastic Gradient Descent with Large Learning Rate.

Kangqiao Liu, Liu Ziyin외 1명|arXiv (Cornell University)|2020. 12. 07.

Stochastic Gradient Optimization Techniques참고 문헌 77인용 수 6

한 줄 요약

이 논문은 비소멸 학습률을 가진 확률적 경사 하강법(SGD)을 연구하며, 이차 손실 설정에서 운동량이 있는지 여부에 관계없이 이산 시간 SGD에 대해 정확히 해를 구할 수 있는 결과를 도출한다. 안정된 분포를 수립하고 실험적 관찰과 연결함으로써, 근사 오차, 미니배치 노이즈, 날카로운 국소 최소점에서의 탈출, 그리고 2차 미분 방법의 정적 분포에 대한 이론적 통찰을 제공한다.

ABSTRACT

As a simple and efficient optimization method in deep learning, stochastic gradient descent (SGD) has attracted tremendous attention. In the vanishing learning rate regime, SGD is now relatively well understood, and the majority of theoretical approaches to SGD set their assumptions in the continuous-time limit. However, the continuous-time predictions are unlikely to reflect the experimental observations well because the practice often runs in the large learning rate regime, where the training is faster and the generalization of models are often better. In this paper, we propose to study the basic properties of SGD and its variants in the non-vanishing learning rate regime. The focus is on deriving exactly solvable results and relating them to experimental observations. The main contributions of this work are to derive the stable distribution for discrete-time SGD in a quadratic loss function with and without momentum. Examples of applications of the proposed theory considered in this work include the approximation error of variants of SGD, the effect of mini-batch noise, the escape rate from a sharp minimum, and and the stationary distribution of a few second order methods.

연구 동기 및 목표

• 실제로 흔히 사용되지만 연속 시간 근사에서 잘 설명되지 않는 큰 학습률 영역에서의 SGD 거동을 이해하기 위해.
• 이차 손실 하에서 운동량이 있는지 여부에 관계없이 이산 시간 SGD에 대해 정확히 해를 구할 수 있는 결과를 도출하기 위해.
• 이론적 예측을 실험적 관찰과 연결하여, 특히 일반화와 학습 동역학에 관해 설명하기 위해.
• 비소멸 학습률 영역에서 근사 오차, 미니배치 노이즈, 날카로운 국소 최소점에서의 탈출에 미치는 영향을 분석하기 위해.
• 제안된 프레임워크를 사용하여 2차 미분 SGD 변형의 정적 분포를 특성화하기 위해.

제안 방법

• 이차 손실 함수에서 이산 시간 SGD 동역학을 확률적 차분 방정식으로 공식화한다.
• 해석적 방법을 사용하여 비소멸 학습률 하에서 파라미터 갱신 과정의 안정된 분포를 유도한다.
• 속도 항을 포함하도록 확률적 차분 방정식을 확장하여 운동량을 모델에 통합한다.
• 유도된 안정된 분포를 사용하여 SGD 변형에서의 근사 오차를 분석한다.
• 미니배치 노이즈가 정적 분포와 수렴 행동에 미치는 영향을 정량화한다.
• 프레임워크를 사용하여 날카로운 국소 최소점에서의 탈출률을 추정하고, 이를 학습률과 노이즈 수준과 연결한다.

실험 결과

연구 질문

• RQ1 비소멸 학습률을 가진 이산 시간 SGD의 정확한 안정된 분포는 무엇인가? (이차 손실 설정에서)
• RQ2 운동량의 포함이 SGD의 정적 분포와 수렴 성질에 어떤 영향을 미치는가?
• RQ3 미니배치 노이즈와 SGD에서 파라미터의 정적 분포 사이의 관계는 무엇인가?
• RQ4 비소멸 영역에서 학습률은 날카로운 국소 최소점에서의 탈출률에 어떤 영향을 미치는가?
• RQ5 제안된 이론적 프레임워크 하에서 2차 미분 SGD 변형의 정적 분포는 무엇인가?

주요 결과

• 비소멸 학습률을 가진 이산 시간 SGD의 안정된 분포는 이차 손실 함수에 대해 정확히 유도되었으며, 관측된 학습 동역학에 대한 이론적 기반을 제공한다.
• 운동량의 포함은 정적 분포를 수정하여 표준 SGD와는 다른 수렴 및 일반화 성질을 유도한다.
• 미니배치 노이즈는 더 넓은 정적 분포를 유도하며, 이는 실무에서 관측된 향상된 일반화를 설명하는 데 기여한다.
• 더 큰 학습률과 더 높은 노이즈 수준일수록 날카로운 국소 최소점에서의 탈출률이 증가하며, 이는 실증적 관찰과 일치한다.
• 프레임워크는 몇 가지 2차 미분 SGD 변형의 정적 분포를 성공적으로 예측하여, 표준 SGD를 초월한 적용 가능성에 대한 타당성을 입증한다.
• 이론은 큰 학습률이 왜 일반화를 향상시키는지 설명한다: 파라미터 갱신에서 효과적인 노이즈를 증가시켜 더 평탄한 최소점을 유도하기 때문이다.