[논문 리뷰] An Exponential Learning Rate Schedule for Deep Learning

Zhiyuan Li, Sanjeev Arora|arXiv (Cornell University)|2019. 10. 16.

Advanced Neural Network Applications참고 문헌 23인용 수 44

한 줄 요약

이 논문은 가중치 감소(weight decay)와 모멘텀을 갖춘 BN-활성 네트워크에서 기하급수적으로 증가하는 학습률이 표준 BN+SGD 역학을 모방할 수 있음을 보이고, WD와 지수 LR 간의 엄밀한 등가성(다중 단계 스케줄 포함)을 제공한다.

ABSTRACT

Intriguing empirical evidence exists that deep learning can work well with exoticschedules for varying the learning rate. This paper suggests that the phenomenon may be due to Batch Normalization or BN, which is ubiquitous and provides benefits in optimization and generalization across all standard architectures. The following new results are shown about BN with weight decay and momentum (in other words, the typical use case which was not considered in earlier theoretical analyses of stand-alone BN. 1. Training can be done using SGD with momentum and an exponentially increasing learning rate schedule, i.e., learning rate increases by some $(1 +α)$ factor in every epoch for some $α>0$. (Precise statement in the paper.) To the best of our knowledge this is the first time such a rate schedule has been successfully used, let alone for highly successful architectures. As expected, such training rapidly blows up network weights, but the net stays well-behaved due to normalization. 2. Mathematical explanation of the success of the above rate schedule: a rigorous proof that it is equivalent to the standard setting of BN + SGD + StandardRate Tuning + Weight Decay + Momentum. This equivalence holds for other normalization layers as well, Group Normalization, LayerNormalization, Instance Norm, etc. 3. A worked-out toy example illustrating the above linkage of hyper-parameters. Using either weight decay or BN alone reaches global minimum, but convergence fails when both are used.

연구 동기 및 목표

• 딥 네트워크에서 배치 정규화와 정규화 계층이 학습률 스케줄과 상호작용하는 이유를 동기 부여한다.
• 스케일 불변 목표하에서 WD의 효과를 SGD with momentum에서 지수 LR 스케줄이 모방할 수 있음을 보인다.
• 가중치 감소와 지수 LR 스케줄 간의 형식적 동등성을 다양한 정규화 체계에서 제공한다.
• 다중 단계 및 테이퍼드 기하급수 LR 스케줄과 이것이 스텝 디케이와 같은 표준 관행과 어떻게 관련되는지 설명한다.
• 장난 예제와 CNN/ResNet 실험을 통해 시사점을 보여준다.

제안 방법

• 논문 제정의 1.2에서와 같이 모멘텀과 가중치 감소를 가진 SGD를 정의한다.
• 상태 및 매핑 동등성을 통해 가중치 감소가 있는 GD가 지수 LR을 가진 GD와 동등하다는 형식적 매핑을 개발한다(정리 2.1).
• 모멘텀을 이용한 SGD에 대한 동등성을 확장한다(정리 2.9).
• 다단계 LR 스케줄로 일반화하고 테이퍼드 기하급수 LR을 도출한다(정리 2.12).
• Step Decay 궤적과 근접하게 일치하는 LR 스케줄로서 TEXP++를 도입한다(정리 2.13).
• WD/BN 상호 작용과 두 가지를 함께 사용할 때 수렴하지 않는 예를 설명하기 위한 toy 예를 사용한다.

실험 결과

연구 질문

• RQ1 연구 질문
• RQ2 논문이 조사하는 2-5개의 구체적인 연구 질문.

주요 결과

• 정리 1.1의 비공식적 진술은 스케일 불변 목표를 가진 SGD와 WD가 특정 조건하에 지수 LR 스케줄을 가진 SGD로 재구성될 수 있음을 나타낸다.
• 정리 2.9는 모멘텀을 포함해도 WD가 있는 GD가 Exp LR를 가진 GD와 동등하다는 것을 보인다.
• 정리 2.12는 모멘텀을 가진 상태에서 WD 없이 Step Decay 궤적에 맞추는 테이퍼드-지수 LR 스케줄(TEXP)을 도입한다.
• 정리 2.13은 정확한 모멘텀 보정이 단계 경계에서 필요하지 않더라도 WD를 가진 Step Decay와 동일한 함수 공간의 네트워크 시퀀스를 생성하는 TEXP++를 제시한다.
• 장난 예제는 BN 단독과 WD 단독이 각각 수렴으로 이어질 수 있지만 BN+WD가 작은 Training error로의 수렴을 방해할 수 있음을 보여 이들의 불가분한 상호 작용을 설명한다.
• CNN/ResNet 실험은 기하급수 LR 개념을 검증하고 전통적 스케줄에 비해 실무적으로 향상되거나 비슷한 궤적을 보인다.