[논문 리뷰] Exploring loss function topology with cyclical learning rates

Leslie N. Smith, Nicholay Topin|arXiv (Cornell University)|2017. 02. 14.

Machine Learning and Algorithms참고 문헌 4인용 수 17

한 줄 요약

이 논문은 순환 학습률(CLR)과 선형 네트워크 보간을 사용하여 신경망 손실 함수의 위상을 조사하며, 테스트 손실과 정확도가 동시에 증가하거나 초초기 수렴(super-convergence)과 같은 직관에 어긋나는 행동을 드러낸다. 여기서 대규모 학습률로 훈련한 네트워크가 표준 훈련보다 적은 반복 횟수로 더 높은 테스트 정확도를 달성한다. 저자들은 CLR이 사이클 동안 별개의 국소 최소값을 드러내며, 이러한 솔루션 간의 보간을 통해 정규화 효과를 얻어 일반화 성능을 향상시킴을 보여준다.

ABSTRACT

We present observations and discussion of previously unreported phenomena discovered while training residual networks. The goal of this work is to better understand the nature of neural networks through the examination of these new empirical results. These behaviors were identified through the application of Cyclical Learning Rates (CLR) and linear network interpolation. Among these behaviors are counterintuitive increases and decreases in training loss and instances of rapid training. For example, we demonstrate how CLR can produce greater testing accuracy than traditional training despite using large learning rates. Files to replicate these results are available at https://github.com/lnsmith54/exploring-loss

연구 동기 및 목표

• 순환 학습률과 학습률 범위 테스트를 사용하여 딥 신경망에서 이전에 보고되지 않은 훈련 동역학을 조사하기 위해.
• 다양한 학습률에서 훈련 행동이 어떻게 변화하는지 관찰함으로써 신경망 손실 함수의 근본적인 구조를 이해하기 위해.
• 순환 학습률(CLR)의 각 사이클에서 별개의 최소값이 발견되는지, 그리고 이러한 최소값 간의 보간이 모델의 일반화 성능을 향상시키는지 탐구하기 위해.
• 높은 테스트 정확도를 얻는 데 기여하는 학습률의 범위에 기반해 신경망 아키텍처의 강건성을 평가하기 위해.
• 해당 솔루션 간의 가중치 보간이 정규화 기법으로서의 잠재력을 평가하기 위해.

제안 방법

• 고정된 반복 수 동안 최소값과 최대값 사이를 왕복하는 삼각형 정책을 사용한 순환 학습률(CLR) 적용: 학습률이 일정한 주기 동안 최소값에서 최대값으로 오르내림.
• 학습 전반에 걸쳐 작은 초기 값에서 큰 값으로 선형적으로 증가하는 학습률을 사용하여 학습률 범위 테스트를 수행함으로써 넓은 학습률 스펙트럼에서 네트워크의 수렴 행동을 매핑하기 위해.
• 선형 네트워크 보간을 사용하여 훈련된 네트워크 가중치를 비교함: 다양한 α 값에 대해 net_new = α*net_1 + (1−α)*net_2 를 계산함.
• 보간 중 훈련 및 테스트 손실과 정확도를 측정하여 솔루션이 같은 최소값인지, 다른 최소값인지 확인하기 위해.
• CLR 하에서의 훈련 궤적과 손실 함수 행동을 분석하여 손실 증가와 함께 정확도가 증가하는 이상 현상과 같은 비정상적인 행동을 식별하기 위해.
• 고정된 학습률로 훈련하는 것과 비교하여 CLR 훈련의 수렴 속도와 최종 모델 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 학습률이 임계 임계값을 초과할 때 순환 학습률을 사용할 경우 훈련 손실과 정확도의 행동은 어떻게 변화하는가?
• RQ2 순환 학습률 훈련의 각 사이클에서 별개의 최소값을 식별할 수 있으며, 이 최소값들은 서로 다른 일반화 능력과 관련이 있는가?
• RQ3 왜 테스트 손실과 테스트 정확도가 동시에 증가하는 경우가 발생하는가? 이는 일반적으로 반비례 관계를 가정하는 전통적 기대와 어긋나는 현상이다.
• RQ4 다른 사이클에서 유도된 솔루션 간의 보간이 모델의 일반화 성능 향상과 테스트 손실 감소에 어느 정도 기여하는가?
• RQ5 높은 테스트 정확도를 유지하는 데 기여하는 학습률의 범위가 딥 네트워크의 아키텍처 강건성과 관련이 있는가?

주요 결과

• 스텝사이즈 10,000 반복으로 순환 학습률을 적용한 결과 초초기 수렴이 발생하여, ResNet-56이 단 20,000 반복만에 CIFAR-10에서 93%의 테스트 정확도를 달성했으며, 초기 학습률 0.35로 표준 훈련을 한 경우는 91%에 그쳤다.
• CLR 훈련 중 약 0.255의 학습률에서 훈련 손실이 네 배 정도 급격히 증가했으나, 더 높은 학습률에서 수렴이 재개되어 복잡한 손실 함수 위상이 드러났다.
• CLR의 여러 사이클에서 테스트 손실과 테스트 정확도가 동시에 증가하는 현상이 관찰되었으며, 이는 일반적으로 반대 방향으로 변화해야 한다는 전통적 기대와 어긋나는 비단조화적 행동을 시사한다.
• 다른 CLR 사이클에서 유도된 솔루션 간의 보간을 통해 테스트 손실의 중심 최소값이 드러났으며, 이는 서로 다른 최소값에서 유도된 가중치 평균화가 일반화 성능 향상에 기여하고 정규화 효과를 나타낸다는 것을 의미한다.
• 학습률 범위 테스트를 통해 드러난 손실 함수 위상은 0.25에서 1.0 사이의 넓은 학습률 범위에서 일관되게 높은 테스트 정확도를 유지함을 보여주었으며, 이러한 범위를 가진 아키텍처는 하이퍼파rameter 선택에 대해 더 강건할 수 있음을 시사한다.
• 각 CLR 사이클의 끝에서 도출된 솔루션이 서로 다름을 보여주기 위해 보간을 수행한 결과, 손실이 '정점'을 이룬 것으로 확인되었으며, 이는 손실 곡면 상에서 서로 다른 최소값에 해당함을 의미한다.