[논문 리뷰] Learning Stages: Phenomenon, Root Cause, Mechanism Hypothesis, and Implications.

Kaichao You, Mingsheng Long외 2명|arXiv (Cornell University)|2019. 08. 05.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 딥 네ural 네트워크 학습에서 학습률 감쇠(lrDecay)의 새로운 설명을 제안한다: 초도에 큰 학습률이 노이즈가 섞인 데이터의 기억을 억제하고, 이후 감쇠가 복잡하고 전이성이 낮은 패턴을 학습하는 데 기여한다. 통제된 데이터셋과 실제 세계 데이터셋에서의 실험을 통해 이 메커니즘이 검증되었으며, 더 나은 학습 전략 설계를 위한 새로운 통찰을 제공한다.

ABSTRACT

Learning rate decay (lrDecay) is a \emph{de facto} technique for training modern neural networks. It starts with a large learning rate and then decays it multiple times. It is empirically observed to help both optimization and generalization. Common beliefs in how lrDecay works come from the optimization analysis of (Stochastic) Gradient Descent: 1) an initially large learning rate accelerates training or helps the network escape spurious local minima; 2) decaying the learning rate helps the network converge to a local minimum and avoid oscillation. Despite the popularity of these common beliefs, experiments suggest that they are insufficient in explaining the general effectiveness of lrDecay in training modern neural networks that are deep, wide, and nonconvex. We provide another novel explanation: an initially large learning rate suppresses the network from memorizing noisy data while decaying the learning rate improves the learning of complex patterns. The proposed explanation is validated on a carefully-constructed dataset with tractable pattern complexity. And its implication, that additional patterns learned in later stages of lrDecay are more complex and thus less transferable, is justified in real-world datasets. We believe that this alternative explanation will shed light into the design of better training strategies for modern neural networks.

연구 동기 및 목표

• 현대 딥 네럴 네트워크에서 학습률 감쇠에 대한 널리 퍼진 최적화 기반 설명에 도전하기 위해.
• lrDecay의 효과가 국소 최소점에서의 수렴이나 탈출이 아니라, 인덕티브 바이어스 억제와 패턴 복잡도 역학에 기인하는지 조사하기 위해.
• lrDecay가 점차 복잡한 패턴을 학습하는 데 기여한다는 새로운 가설을 검증하기 위해.
• 다양한 학습 단계에서 학습된 패턴의 전이성, 특히 복잡성과의 관계를 탐색하기 위해.
• 비볼록, 깊고 넓은 네트워크에서 lrDecay의 경험적 성공을 기계적 설명으로 제공하기 위해.

제안 방법

• 패턴 학습에 대한 lrDecay의 영향을 분리하기 위해 제어 가능하고 해석 가능한 패턴 복잡도를 가진 합성 데이터셋을 구축하기 위해.
• 초기 학습 단계에서 단순하고 노이즈가 섞인 패턴의 기억을 억제하기 위해 큰 초도 학습률을 사용하기 위해.
• 학습 후반 단계에서 더 복잡하고 추상적인 패턴을 학습할 수 있도록 학습률을 점진적으로 감쇠시키기 위해.
• 패턴 전용 프로브와 일반화 메트릭을 사용하여 학습 단계별로 학습된 패턴의 복잡도를 분석하기 위해.
• 실제 세계 데이터셋에서 초기와 후기 학습 단계에서 학습된 특징의 전이성을 비교하기 위해.
• 합성 및 실제 데이터에서의 통제 실험과 아블레이션 연구를 통해 가설을 검증하기 위해.

실험 결과

연구 질문

• RQ1 학습률 감쇠가 최적화 수렴을 넘어서 현대 딥 네럴 네트워크에서 일반화를 향상시키는 이유는 무엇인가?
• RQ2 초도에 큰 학습률이 노이즈가 섞인 또는 단순한 패턴의 기억을 억제하는가?
• RQ3 후기 학습 단계에서 학습된 패턴은 초기 단계에서 학습된 패턴보다 더 복잡하고 전이성이 낮은가?
• RQ4 lrDecay의 효과는 최적화 역학이 아니라 점진적인 패턴 복잡도 학습에 기인하는가?
• RQ5 학습된 패턴의 복잡도는 다양한 작업 간 전이성과 어떻게 관련이 있는가?

주요 결과

• 초도에 큰 학습률이 훈련 데이터의 노이즈가 섞인 또는 단순한 패턴의 기억을 효과적으로 억제한다.
• 후속 학습률 감쇠는 과적합에 덜 민감한 더 복잡하고 추상적인 패턴을 학습할 수 있도록 네트워크를 가능하게 한다.
• 패턴 전용 프로브로 측정한 결과, 후기 학습 단계에서 학습된 패턴은 초기 단계에서 학습된 패턴보다 현저히 더 복잡하다.
• 후기 단계에서 학습된 이러한 패턴들은 다른 작업으로의 전이성이 감소함을 보여, 시간이 지남에 따라 복잡도가 증가한다는 가설을 지지한다.
• 제안된 메커니즘은 전통적인 최적화 설명이 부족한 비볼록, 깊고 넓은 네트워크에서 lrDecay의 효과를 설명할 수 있다.
• 합성 및 실제 세계 데이터셋에서의 경험적 검증을 통해 lrDecay가 단순한 패턴 학습에서 복잡한 패턴 학습으로의 전환을 촉진한다는 것이 확인되었다.