[논문 리뷰] Special Properties of Gradient Descent with Large Learning Rates

Amirkeivan Mohtashami, Martin Jaggi외 1명|arXiv (Cornell University)|2022. 05. 30.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 비볼록 최적화에서 확률적 노이즈가 없는 상황에서도 경사하강법(GD)에서 큰 학습률이 국소 최소점에서의 탈출을 가능하게 한다는 것을 보여주며, 기존에 확률적 성능이 SGD의 성공을 설명하는 데 핵심이라고 여겨진 이론에 도전한다. 저자들은 이론적으로 증명하고 실험적으로 검증하여 큰 학습률이 국소 최소점에서 갇히지 않고 전역 최소점으로 수렴하는 특별한 궤적을 유도함을 보이며, 작은 학습률은 국소 최소점에 갇히는 반면, 학습률 크기의 영향이 노이즈 증폭을 넘어서 기본적인 역할을 한다고 규명한다.

ABSTRACT

When training neural networks, it has been widely observed that a large step size is essential in stochastic gradient descent (SGD) for obtaining superior models. However, the effect of large step sizes on the success of SGD is not well understood theoretically. Several previous works have attributed this success to the stochastic noise present in SGD. However, we show through a novel set of experiments that the stochastic noise is not sufficient to explain good non-convex training, and that instead the effect of a large learning rate itself is essential for obtaining best performance.We demonstrate the same effects also in the noise-less case, i.e. for full-batch GD. We formally prove that GD with large step size -- on certain non-convex function classes -- follows a different trajectory than GD with a small step size, which can lead to convergence to a global minimum instead of a local one. Our settings provide a framework for future analysis which allows comparing algorithms based on behaviors that can not be observed in the traditional settings.

연구 동기 및 목표

• 큰 학습률이 확률적 노이즈 증폭을 초월해 GD에서 최적화 이점을 제공하는지 조사하기.
• 비볼록 환경에서 큰 학습률과 작은 학습률이 유도하는 궤적의 차이를 공식적으로 증명하기.
• 큰 학습률이 국소 최소점에 수렴하는 작은 학습률과는 달리 전역 최소점으로 수렴할 수 있음을 보여주기.
• 큰 학습률의 효과가 단지 확률적 성능을 높임으로써 재현될 수 없음을 이론적이고 경험적으로 입증하기.
• 伝통적인 매끄러움 가정에서 관찰되지 않는 궤적 차이를 기반으로 최적화 알고리즘을 분석하는 프레임워크 수립하기.

제안 방법

• 국소 최소점과 전역 최소점을 가진 비볼록 함수의 일군의 클래스에 대해 GD의 이론적 분석을 수행하여, 큰 학습률이 국소 최소점에서의 궤적을 분리시킴을 보여줌.
• 합성 비볼록 함수에 대해 전체 배치 GD를 큰 학습률과 작은 학습률로 비교하여 탈출 행동을 관찰하는 실험 수행.
• 작은 학습률과 큰 학습률의 효과를 분리하기 위해 반복적인 미니배치를 사용한 실험 설계를 통해 노이즈 크기를 일정하게 유지함.
• 표준 신경망 아키텍처(예: ResNet)를 큰 학습률로 훈련하여 실제 환경에서 국소 최소점에서의 탈출을 관찰함.
• 작은 학습률 궤적과 큰 학습률 궤적 사이의 선상에서 손실 경로를 분석하여 손실 변화를 시각화하고 탈출 행동을 확인함.
• 유한한 단계 크기의 역할을 부각시키기 위해 연속시간 기반 기준선으로 기울기 흐름(gradient flow)을 사용하고 이와의 대비를 통해 이산적 GD의 특성을 강조함.

실험 결과

연구 질문

• RQ1 SGD에서 큰 학습률의 성공이 유일하게 증가된 확률적 노이즈 때문인가, 아니면 학습률 크기 자체의 내재적 효과가 존재하는가?
• RQ2 소규모 학습률 GD가 실패하는 비볼록 함수에서 전체 배치 GD를 큰 학습률로 사용할 경우 국소 최소점에서 탈출할 수 있는가?
• RQ3 작은 학습률을 유지하면서 노이즈 크기를 증가시키는 것으로 큰 학습률의 효과를 재현할 수 있는가?
• RQ4 비볼록 최적화에서 큰 학습률과 작은 학습률을 사용한 GD의 궤적은 무엇으로 구분되는가?
• RQ5 큰 학습률의 이론적 이점은 실제 신경망 훈련에서 관찰될 수 있는가?

주요 결과

• 전체 배치 GD에서 큰 학습률은 특정 비볼록 함수에서 국소 최소점에서의 탈출과 전역 최소점 수렴을 가능하게 하며, 반면 작은 학습률은 국소 최소점에 수렴함.
• 큰 학습률의 효과는 단지 노이즈 크기를 증가시키는 것으로 재현될 수 없으며, 고정된 작은 학습률과 증가된 노이즈 크기를 가진 실험에서 전역 수렴에 실패함.
• 큰 학습률을 사용한 GD의 궤적은 국소 최소점 근처에서 작은 학습률 GD의 궤적과 크게 다름.
• 작은 학습률 궤적과 큰 학습률 궤적 사이의 선상에서 손실은 처음에는 증가(탈출을 나타냄)하고 나중에는 감소(전역 최소점 수렴을 나타냄)하여 비단조화적 행동을 확인함.
• 실제 신경망 훈련에서는 큰 학습률이 테스트 정확도 향상과 뚜렷한 열악한 국소 최소점 탈출을 이끌어내며, 확률적 노이즈가 없더라도 효과를 보임.
• 큰 학습률과 작은 학습률 간의 행동 차이는 기울기 흐름(무한소 단계 크기)에서는 포착되지 않으며, 이는 이산적 단계 크기가 최적화 역학에서 중요한 역할을 한다는 점을 강조함.