[논문 리뷰] Learning Rate Annealing Can Provably Help Generalization, Even for Convex Problems

Preetum Nakkiran|arXiv (Cornell University)|2020. 05. 15.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 10

한 줄 요약

이 논문은 학습률 스케줄링—큰 초기 학습률을 사용한 후 작은 학습률로 전환하는 방식—이 2차원 선형 회귀와 같은 볼록 문제에서도 일반화를 증가시킬 수 있음을 증명한다. 훈련 손실과 테스트 손실의 곡률이 다름을 이용하고 조기 정지 전략을 적용함으로써, 학습률가 조절된 경사 하강법은 일정한 작은 학습률을 사용하는 경사 흐름보다 훨씬 낮은 테스트 손실을 가지는 최소값에 도달한다.

ABSTRACT

Learning rate schedule can significantly affect generalization performance in modern neural networks, but the reasons for this are not yet understood. Li-Wei-Ma (2019) recently proved this behavior can exist in a simplified non-convex neural-network setting. In this note, we show that this phenomenon can exist even for convex learning problems -- in particular, linear regression in 2 dimensions. We give a toy convex problem where learning rate annealing (large initial learning rate, followed by small learning rate) can lead gradient descent to minima with provably better generalization than using a small learning rate throughout. In our case, this occurs due to a combination of the mismatch between the test and train loss landscapes, and early-stopping.

연구 동기 및 목표

• 학습률 스케줄링이 비볼록성이 없더라도 볼록 최적화 문제에서 일반화를 향상시킬 수 있음을 입증함으로써, 이러한 효과가 비볼록성에 필수적이라는 가정에 도전한다.
• 학습률 스케줄링, 조기 정지, 그리고 경험적(훈련) 손실과 인구(테스트) 손실 곡률 간의 불일치 사이의 상호작용을 분석한다.
• 훈련 손실이 동일한 상황에서 학습률가 조절된 방법이 일정한 작은 학습률보다 더 나은 일반화를 보이는 이론적으로 탄탄한 최소한의 예제를 제공한다.
• 일반화 향상의 원인이 비볼록성 또는 암묵적 편향 때문만은 아니며, 최적화 동역학과 추정 오차에 의해 발생할 수 있음을 명확히 한다.

제안 방법

• 두 상호수직인 특징을 균일하게 샘플링하는 데이터 분포를 가진 2차원 선형 회귀 문제를 모델링한다.
• 경험적 공분산 행렬과 진정한 공분산 행렬을 바탕으로 훈련 손실과 테스트(인구) 손실 함수를 정의함으로써, 두 곡률 간의 불일치를 유도한다.
• 두 가지 최적화 전략을 비교한다: (A) 작은 일정한 학습률을 사용하는 경사 흐름, (B) 큰 스텝 사이즈로 시작한 후 경사 하강법을 이어가는 방법.
• 큰 초기 학습률을 사용해 최고 곡률 방향(첫 번째 좌표축)에서 진동을 유도함으로써, 이산 단계 동안 해당 축을 완전히 최적화하지 못하도록 한다.
• 고유값 비율과 감쇠율에 기반한 인구 손실에 대한 경계를 사용하여, 최종 파arameter 궤적과 테스트 손실을 분석한다.
• 특정 데이터 샘플링 조건(예: 두 동일한 샘플이 3/4 확률로 발생하는 경우) 하에서, 학습률가 조절된 방법이 일정한 작은 학습률 방법의 테스트 손실의 절반으로 줄어든다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 유일한 전역 최소값을 가진 볼록 문제에서 학습률 스케줄링이 일반화를 향상시킬 수 있는가?
• RQ2 볼록 설정에서 학습률 스케줄링이 일반화를 향상시키는 메커니즘은 무엇인가?
• RQ3 훈련 손실과 테스트 손실 곡률 간의 불일치가 조기 정지와 어떻게 상호작용하여 일반화에 영향을 미치는가?
• RQ4 학습률가 조절의 이점은 비볼록성 때문인가, 아니면 강한 볼록 문제에서도 나타날 수 있는가?
• RQ5 동일한 훈련 손실에 도달하더라도, 큰 초기 스텝을 가진 경사 하강법과 경사 흐름이 다른 일반화 결과를 낳을 수 있는가?

주요 결과

• 2차원 선형 회귀 문제에서, 동일한 훈련 손실을 기록할 경우 학습률가 조절된 방법은 일정한 작은 학습률 경사 흐름보다 테스트 손실을 절반으로 줄인다.
• 훈련 데이터 샘플에 대해 3/4의 확률로, 학습률가 조절된 방법의 테스트 손실은 일정한 작은 학습률 방법의 두 배 낮다.
• 이 개선은 큰 초기 학습률이 훈련 곡률이 높지만 진정한 분포에서는 낮은 곡률을 가지는 방향에서의 최적화를 방지하기 때문에 발생한다.
• 핵심 메커니즘은 훈련 손실과 테스트 손실 곡률 간의 불일치와 조기 정지의 조합이며, 이는 동일한 훈련 손실에서 최소값의 유일성을 깨뜨린다.
• 이 결과는 강한 볼록 문제에서도 성립하므로, 학습률 스케줄링이 일반화에 영향을 미치기 위해 비볼록성이 필요하지 않음을 보여준다.
• 이론적 분석은 큰 스텝을 가진 경사 하강법이 이후 경사 흐름으로 이어질 경우, 단독 경사 흐름이 수렴할 수 있는 열악한 일반화 최소값을 피할 수 있음을 확인한다.