[논문 리뷰] Reconciling Modern Deep Learning with Traditional Optimization Analyses: The Intrinsic Learning Rate

Zhiyuan Li, Kaifeng Lyu외 1명|arXiv (Cornell University)|2020. 10. 06.

Model Reduction and Neural Networks인용 수 15

한 줄 요약

이 논문은 정규화된 딥 네트워크에서 학습 동역학을 지배하는 핵심 매개변수로 '내재 학습률'(learning rate와 weight decay의 곱)을 도입한다. 확률적 미분 방정식(SDE)을 통해 SGD를 모델링함으로써, 기능 공간에서의 평형 상태가 내재 학습률에 반비례함을 보이며, 좋은 일반화를 위해 초기 학습률을 크게 해야 한다는 믿음을 도전하고, 배치 정규화의 성공을 설명하는 데 '빠른 평형 추측(Fast Equilibrium Conjecture)'을 제안한다.

ABSTRACT

Recent works (e.g., (Li and Arora, 2020)) suggest that the use of popular normalization schemes (including Batch Normalization) in today's deep learning can move it far from a traditional optimization viewpoint, e.g., use of exponentially increasing learning rates. The current paper highlights other ways in which behavior of normalized nets departs from traditional viewpoints, and then initiates a formal framework for studying their mathematics via suitable adaptation of the conventional framework namely, modeling SGD-induced training trajectory via a suitable stochastic differential equation (SDE) with a noise term that captures gradient noise. This yields: (a) A new ' intrinsic learning rate' parameter that is the product of the normal learning rate and weight decay factor. Analysis of the SDE shows how the effective speed of learning varies and equilibrates over time under the control of intrinsic LR. (b) A challenge -- via theory and experiments -- to popular belief that good generalization requires large learning rates at the start of training. (c) New experiments, backed by mathematical intuition, suggesting the number of steps to equilibrium (in function space) scales as the inverse of the intrinsic learning rate, as opposed to the exponential time convergence bound implied by SDE analysis. We name it the Fast Equilibrium Conjecture and suggest it holds the key to why Batch Normalization is effective.

연구 동기 및 목표

• 배치 정규화와 같은 정규화 기법의 맥락에서 현대 딥 러닝을 전통적 최적화 분석과 조율하기 위해.
• 기존 최적화 이론과의 시각에서 정규화된 네트워크의 학습 동역학에서의 근본적인 이질성을 규명하기 위해.
• 기울기 노이즈를 고려한 SGD 궤적을 모델링하기 위해 확률적 미분 방정식(SDE)을 사용한 수학적 프레임워크를 체계화하기 위해.
• 학습 시작 시 큰 학습률이 좋은 일반화를 위해 필수적이라는 널리 퍼진 믿음을 도전하기 위해.
• 내재 학습률에 반비례하는 수렴 시간을 가지는 '빠른 평형 추측'을 제안하고 조사하기 위해.

제안 방법

• 기울기 노이즈를 나타내는 노이즈 항을 포함한 확률적 미분 방정식(SDE)을 사용하여 정규화된 네트워크에서의 SGD 학습 궤적을 모델링한다.
• 기본 학습률과 가중치 감쇠 인자 곱으로 정의된 '내재 학습률'을 정의하여 효과적 학습 속도를 지배하는 요소로 규명한다.
• SDE를 분석하여 시스템의 시간에 따른 진화를 도출하고, 내재 학습률이 기능 공간에서의 평형 도달에 어떻게 영향을 주는지 규명한다.
• 이론적 분석과 통제된 실험을 통해 내재 학습률에 따른 평형 도달 시간의 스케일링을 테스트한다.
• 이론적 예측과 실증 관측을 비교하여 빠른 평형 추측의 타당성을 평가한다.
• 정규화층이 유도하는 비선형적이고 적응적인 행동을 고려하여 고전적 최적화 프레임워크를 수정한다.

실험 결과

연구 질문

• RQ1 정규화된 딥 네트워크의 행동은 고전적 최적화 이론과 어떻게 다를까?
• RQ2 내재 학습률은 정규화된 네트워크에서 학습 속도와 평형 도달에 어떻게 영향을 주는가?
• RQ3 기능 공간에서 평형에 도달하는 데 소요되는 시간이 빠른 평형 추측이 제안하는 바와 같이 내재 학습률에 반비례하는가?
• RQ4 학습 시작 시 큰 초기 학습률이 좋은 일반화를 위해 필수적이라는 널리 퍼진 믿음은 이론과 실험에 의해 실제로 지지되는가?
• RQ5 배치 정규화의 효과성은 내재 학습률에 의해 제어되는 빠른 평형 도달를 통해 설명될 수 있는가?

주요 결과

• 내재 학습률은 학습률과 가중치 감쇠의 곱으로 정의되며, 정규화된 네트워크에서 효과적 학습 속도와 평형 도달를 지배한다.
• 기능 공간에서 평형에 도달하는 데 소요되는 시간은 내재 학습률에 반비례하며, 이는 빠른 평형 추측을 지지한다.
• 실증 결과는 기존 SDE 수렴 경계가 지수적 시간 스케일을 암시하는 바와 달리, 평형 도달가 훨씬 빠르게 이루어짐을 보여준다.
• 이 연구는 학습 시작 시 큰 학습률이 좋은 일반화를 위해 필수적이라는 통념을 도전한다.
• 이론적 및 실험적 증거는 배치 정규화의 성공이 내재 학습률를 통한 빠른 평형 도달 덕분일 수 있음을 시사한다.