[논문 리뷰] Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability

Jeremy M. Cohen, Simran Kaur외 3명|arXiv (Cornell University)|2021. 02. 26.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 22

한 줄 요약

이 논문은 신경망에서의 전체 배치 경사하강법이 일관되게 '안정성의 가장자리'에서 작동함을 보여주며, 최대 헤시안 고유값(예측의 날카기 정도)이 2/η보다 약간 위에 머무르게 되어, 훈련 손실은 비단순적이지만 궁극적으로 감소함을 시사한다. 이 행동은 표준 최적화 이론의 가정과 배치되며, 딥러닝 훈련에서 수렴성과 부드러움에 대한 기존 이론을 도전한다.

ABSTRACT

We empirically demonstrate that full-batch gradient descent on neural network training objectives typically operates in a regime we call the Edge of Stability. In this regime, the maximum eigenvalue of the training loss Hessian hovers just above the numerical value $2 / ext{(step size)}$, and the training loss behaves non-monotonically over short timescales, yet consistently decreases over long timescales. Since this behavior is inconsistent with several widespread presumptions in the field of optimization, our findings raise questions as to whether these presumptions are relevant to neural network training. We hope that our findings will inspire future efforts aimed at rigorously understanding optimization at the Edge of Stability. Code is available at https://github.com/locuslab/edge-of-stability.

연구 동기 및 목표

• 전체 배치 경사하강법이 신경망 훈련 목표 함수에서 나타내는 역학을 조사하기 위해.
• 신경망 훈련에서 단조 감소와 L-스무쓰니스를 가정하는 최적화 이론의 기존 가정을 도전하기 위해.
• 훈련 중 헤시안의 최대 고유값(날카기 정도)의 행동을 경험적으로 특성화하기 위해.
• 날짜가 2/η보다 약간 위에 유지되는 일관된 영역인 '안정성의 가장자리'를 식별하여, 비단순적 행동에도 불구하고 시간이 지남에 따라 손실이 감소함을 보여주기 위해.
• 안정성의 가장자리에서의 최적화 역학을 설명할 수 있는 새로운 이론적 프레임워크를 제안하기 위해.

제안 방법

• 표준 데이터셋(예: CIFAR-10 포함)에서 다양한 신경망 아키텍처에 대해 전체 배치 경사하강법을 적용함.
• 다양한 학습률 η에 대해 훈련 손실 헤시안의 최대 고유값(날카기 정도)을 계산하고 훈련 전반에 걸쳐 추적함.
• 이론적 안정성 분석을 통해 2/η 기준값을 정의하기 위해 2차 함수에 대한 경사하강법 분석을 기준으로 사용함.
• 경험적 분석을 통해 교차 엔트로피와 MSE 등의 다양한 손실 함수 및 학습률에 따른 날카기 정도 변화를 비교함.
• 일반화 가능성 평가를 위해 여러 아키텍처와 데이터셋을 통해 행동을 분석함.
• 전체 배치 GD와 확률적 경사하강법(SGD)을 대조하여 날카기 정도 역학의 차이점과 SGD에서 날카기 정도가 정체되지 않는 현상을 기록함.

실험 결과

연구 질문

• RQ1 신경망에서 전체 배치 경사하강법이 아키텍처와 작업 간에 일관된 역학적 영역을 보여주는가?
• RQ2 훈련 중 학습률 η와 최대 헤시안 고유값(날카기 정도) 사이의 관계는 무엇인가?
• RQ3 왜 안정성의 가장자리 영역에서는 비단순적 행동을 보이지만 여전히 수렴하는가?
• RQ4 안정성의 가장자리 영역은 단조 감소와 L-스무쓰니스 등의 최적화 이론의 핵심 가정과 어떻게 배치되는가?
• RQ5 Jastrzębski 등(2020)의 연구에서 제시된 SGD 모델은 전체 배치 경사하강법으로 일반화되는가?

주요 결과

• 전체 배치 경사하강법은 다양한 아키텍처와 작업에서 일관되게 '안정성의 가장자리'에서 작동하며, 최대 헤시안 고유값이 2/η보다 약간 위에 머무름.
• 날짜가 2/η 이하일 경우 점차 날카워지며 이 기준값에 수렴함.
• 날짜가 2/η를 초과하면 경사하강법은 발산하지 않고 오히려 이 값 근처에서 안정화되며, 안정성의 가장자리 영역에 진입함.
• 단기 스케일에서는 비단순적이지만 장기 스케일에서는 손실이 감소함을 보여, 효과적인 최적화임을 시사함.
• CIFAR-10에서 표준 아키텍처를 사용할 경우 합리적인 학습률는 항상 안정성의 가장자리 영역으로 이어지며, 이는 예외가 아니라 일반적인 현상임.
• 안정성의 가장자리 영역은 단조 감소, L-스무쓰니스, 2차 타일러 근사 등 최적화 이론의 핵심 가정을 위반함.