[논문 리뷰] How Does Learning Rate Decay Help Modern Neural Networks?

Kaichao You, Mingsheng Long외 2명|arXiv (Cornell University)|2019. 08. 05.

Neural Networks and Applications참고 문헌 42인용 수 161

한 줄 요약

이 논문은 학습률 감소가 복잡한 패턴 학습을 가능하게 하면서 초기 큰 학습률이 노이즈 데이터의 기억화를 방지한다는 점을 통해 현대 신경망의 학습에 도움을 준다고 주장합니다. 이를 컨트롤된 실험과 실제 데이터셋의 전이성 분석으로 패턴-복잡성 관점을 검증합니다.

ABSTRACT

Learning rate decay (lrDecay) is a \emph{de facto} technique for training modern neural networks. It starts with a large learning rate and then decays it multiple times. It is empirically observed to help both optimization and generalization. Common beliefs in how lrDecay works come from the optimization analysis of (Stochastic) Gradient Descent: 1) an initially large learning rate accelerates training or helps the network escape spurious local minima; 2) decaying the learning rate helps the network converge to a local minimum and avoid oscillation. Despite the popularity of these common beliefs, experiments suggest that they are insufficient in explaining the general effectiveness of lrDecay in training modern neural networks that are deep, wide, and nonconvex. We provide another novel explanation: an initially large learning rate suppresses the network from memorizing noisy data while decaying the learning rate improves the learning of complex patterns. The proposed explanation is validated on a carefully-constructed dataset with tractable pattern complexity. And its implication, that additional patterns learned in later stages of lrDecay are more complex and thus less transferable, is justified in real-world datasets. We believe that this alternative explanation will shed light into the design of better training strategies for modern neural networks.

연구 동기 및 목표

• lrDecay가 왜 깊은 네트워크에서 작동하는 일반적인 설명에 도전한다.
• lrDecay의 패턴 복잡성 기반 관점을 제안한다.
• 제안된 관점을 제어된 실험으로 검증한다.
• 데이터셋 간 학습된 패턴의 전이 가능성에 대한 시사점을 테스트한다.

제안 방법

• WideResNet이 CIFAR-10에서 학습된 GD/SGD 설명을 경험적 결과와 비판적으로 비교한다.
• 간단한 패턴과 복잡한 패턴을 분리하기 위해 Pattern Separation 10 (PS10) 데이터셋을 구성한다.
• 패턴 복잡성을 기대되는 클래스 조건 엔트로피로 정의하고 lrDecay 하에서 간단한 패턴과 복잡한 패턴의 학습을 측정한다.
• 전이 학습 실험을 사용해 나중 단계의 패턴이 대상 데이터셋으로 얼마나 전이되는지 평가한다.
• 학습 역학과 감소의 관련성에 대해 주장하기 위해 해시안 행렬의 고유값을 분석한다.

실험 결과

연구 질문

• RQ1 GD/SGD 설명이 현대 네트워크에서 lrDecay의 이점을 충분히 설명하는가?
• RQ2 lrDecay가 주로 복잡한 패턴 학습에 도움을 주고 큰 초기 LR은 노이즈 데이터의 기억화를 억제하는가?
• RQ3 패턴 복잡성 프레임워크가 관찰된 학습 및 전이 현상을 설명할 수 있는가?
• RQ4 lrDecay가 서로 다른 학습 단계에서 학습된 패턴의 전이성에 어떤 영향을 미치는가?
• RQ5 실제 데이터셋이 후기에 학습한 패턴에 대해 감소하는 전이성을 보이는가?

주요 결과

• lrDecay는 수렴이나 국소최소 회피뿐 아니라 복잡한 패턴 학습을 향상시킨다.
• 초기에 큰 학습률은 노이즈 데이터의 기억화를 방지하는 데 도움을 주며 정규화 역할을 한다.
• 제한된 PS10 데이터셋에서 간단한 패턴이 먼저 학습되고, 감소가 복잡한 패턴 학습을 향상시킨다.
• 실제 데이터셋에서 후반 lrDecay 단계는 다른 작업 간 전이성이 낮은 패턴을 학습한다.
• ImageNet 및 대상 데이터셋 간의 전이성 분석은 새로운 패턴이 점차 전이성이 낮아짐을 보여주며 복잡성 기반 관점을 지지한다.