[논문 리뷰] The Two Regimes of Deep Network Training

Guillaume Leclerc, Aleksander Mądry|arXiv (Cornell University)|2020. 02. 24.

Advanced Neural Network Applications참고 문헌 18인용 수 12

한 줄 요약

이 논문은 딥 네트워크에서 두 가지 유형의 학습 제도를 규명한다: 높은 학습률에서 발생하는 노이즈가 많고 비볼록적인 '큰 단계' 제도(일반화를 이끄는)와 낮은 학습률에서 발생하는 부드럽고 볼록 유사한 '작은 단계' 제도(빠른 수렴 가능). 큰 단계 단계에서는 모멘텀 없이 SGD를, 작은 단계 단계에서는 고모멘텀 SGD를 적용하는 두 단계 학습률 스케줄링 전략을 통해 CIFAR-10과 ImageNet에서 최신 기준 성능을 달성하였으며, 기존의 표준 다단계 학습률 스케줄링보다 뛰어난 성능을 보였다.

ABSTRACT

Learning rate schedule has a major impact on the performance of deep learning models. Still, the choice of a schedule is often heuristical. We aim to develop a precise understanding of the effects of different learning rate schedules and the appropriate way to select them. To this end, we isolate two distinct phases of training, the first, which we refer to as the "large-step" regime, exhibits a rather poor performance from an optimization point of view but is the primary contributor to model generalization; the latter, "small-step" regime exhibits much more "convex-like" optimization behavior but used in isolation produces models that generalize poorly. We find that by treating these regimes separately-and em specializing our training algorithm to each one of them, we can significantly simplify learning rate schedules.

연구 동기 및 목표

• 증거가 없는 행동(예: 증가하는 스케줄링 또는 높은 학습률)에도 불구하고 일부 학습률 스케줄링이 다른 것보다 뛰어나게 작용하는 이유를 이해하는 것.
• 딥 네트워크 학습에서 높은 학습률 제도와 낮은 학습률 제도 간 최적화 역학과 일반화 행동의 근본적인 차이를 조사하는 것.
• 학습 전반에 걸쳐 동일한 최적화 알고리즘과 하이퍼파라미터를 사용해야 한다는 가정을 도전하고, 제도별 최적화 접근법을 제안하는 것.
• 학습을 명시적인 단계로 나누는 것이 더 단순하고 효과적인 학습률 스케줄링을 가능하게 하고, 더 뛰어난 일반화 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 저자들은 두 가지 학습 제도를 분리한다: '큰 단계' 제도(높은 학습률, 노이즈 많은 손실, 수렴 불량)와 '작은 단계' 제도(낮은 학습률, 부드러운 손실 감소, 빠른 수렴).
• 표준 SGD와 모멘텀 SGD를 사용하여 최적화 역학을 분석하고, 다양한 모멘텀 값과 학습률에서 손실 궤적과 일반화 성능을 비교한다.
• 두 단계 학습률 스케줄링을 제안한다: 첫 번째 단계에서는 높은 학습률과 모멘텀 없이 학습(큰 단계 제도), 두 번째 단계에서는 낮은 학습률과 고모멘텀으로 전환(작은 단계 제도).
• 두 제도 간 전이 지점은 CIFAR-10과 ImageNet에서의 경험적 검증을 통해 조정되며, 첫 번째 단계에서 모멘텀의 영향이 미미함을 확인하기 위해 광범위한 아블레이션 분석을 수행한다.
• 제안된 스케줄링을 CIFAR-10과 ImageNet에서 평가하여 표준 3단계 스케줄링과 사이클릭 학습률 기반 모델과의 성능을 비교한다.
• 두 번째 순서 최적화 방법(예: K-FAC, L-BFGS)은 일반적으로 일반화 성능이 떨어져 기피되지만, 작은 단계 제도에서는 이들이 유의미한 후보가 될 수 있음을 주장한다.

실험 결과

연구 질문

• RQ1 왜 높은 학습률 스케줄링은 최적화 수렴이 불량함에도 불구하고 딥 네트워크에서 더 나은 일반화를 이끌어내는가?
• RQ2 손실 궤적, 모멘텀 효과성, 수렴 행동 측면에서 높은 학습률 제도와 낮은 학습률 제도 간 최적화 역학은 어떻게 다를까?
• RQ3 다른 최적화 알고리즘과 하이퍼파라미터를 사용하는 두 개의 명시적 단계로 학습을 분리하면 모델 성능 향상이 가능할까?
• RQ4 큰 단계 제도에서 모멘텀을 학습률에서 분리해도 성능에 영향을 주지 않을 정도로 어느 정도 가능할까?
• RQ5 복잡한 다단계 또는 사이클릭 스케줄링과 비교해도 단순화된 두 단계 학습률 스케줄링으로 최고 성능을 달성할 수 있을까?

주요 결과

• 큰 단계 제도에서는 매우 비볼록적인 최적화 행동을 보이며, 노이즈 많은 손실 궤적과 수렴 불량이 나타나며, 많은 단계를 거쳐도 여전히 그렇다.
• 큰 단계 제도에서는 모멘텀이 명백한 이점을 제공하지 못하며, 학습률 조정만으로도 그 효과를 완전히 상쇄할 수 있다.
• 작은 단계 제도에서는 모멘텀이 수렴 속도를 크게 향상시키며, 낮은 최종 손실을 이끌어내며 볼록 최적화 이론과 일치한다.
• 두 단계 스케줄링—첫 번째 단계에서는 모멘텀 없이 SGD, 두 번째 단계에서는 고모멘텀 SGD를 사용—은 CIFAR-10과 ImageNet 양쪽에서 최고 성능을 달성한다.
• 제안된 스케줄링은 다양한 전이 지점에서 표준 3단계 스케줄링과 비교해도 성능이 뛰어나거나 동등하며, 첫 번째 단계에서 모멘텀을 생략해도 성능 저하가 발생하지 않는다.
• 결과적으로 두 번째 순서 최적화 방법은 이전에는 일반화 성능이 떨어져 기피되었지만, 작은 단계 제도에서는 사용 가능한 후보가 될 수 있음을 시사한다.