[논문 리뷰] A Loss Curvature Perspective on Training Instability in Deep Learning

Justin Gilmer, Behrooz Ghorbani외 7명|arXiv (Cornell University)|2021. 10. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 6

한 줄 요약

이 논문은 손실 곡률의 관점에서 딥러닝에서의 학습 불안정성 문제를 조사하며, 성공적인 모델 아키텍처와 학습 히ュ리스틱—예를 들어 가중치 초기화, 정규화, 기울기 클리핑, 학습률 웜업—이 모두 손실 헤시안의 최대 고유값($ \lambda_1$)이 학습률 $ \eta$보다 작게 유지되도록 하여 학습을 안정화시킨다고 보여준다. 핵심 기여는 이러한 다양한 방법들이 모두 동일한 기반 실패 모드—손실 표면의 나쁜 조건화—를 완화함으로써 초기 학습 단계에서 더 평탄하고 안정된 영역으로 최적화를 이끌어내는 통합적 시각을 제공한다는 점이다.

ABSTRACT

In this work, we study the evolution of the loss Hessian across many classification tasks in order to understand the effect the curvature of the loss has on the training dynamics. Whereas prior work has focused on how different learning rates affect the loss Hessian observed during training, we also analyze the effects of model initialization, architectural choices, and common training heuristics such as gradient clipping and learning rate warmup. Our results demonstrate that successful model and hyperparameter choices allow the early optimization trajectory to either avoid -- or navigate out of -- regions of high curvature and into flatter regions that tolerate a higher learning rate. Our results suggest a unifying perspective on how disparate mitigation strategies for training instability ultimately address the same underlying failure mode of neural network optimization, namely poor conditioning. Inspired by the conditioning perspective, we show that learning rate warmup can improve training stability just as much as batch normalization, layer normalization, MetaInit, GradInit, and Fixup initialization.

연구 동기 및 목표

• 모델 아키텍처의 발전에도 불구하고 딥 네ural 네트워크에서 학습 불안정성이 발생하는 이유를 이해하는 것.
• 특히 손실 헤시안의 최대 고유값 $\\lambda_1$ 이 최적화 안정성에 미치는 영향을 조사하는 것.
• 모델 초기화, 정규화, 학습률 웜업, 기울기 클리핑이 학습 중 $\\lambda_1$ 를 어떻게 제어하는지 분석하는 것.
• 다양한 학습 히ュ리스틱을 하나의 메커니즘—초기 학습 단계에서 곡률을 줄여 안정성을 향상시키는 데—통합하는 것.

제안 방법

• SGD+모멘타임을 사용한 학습 중에 여러 분류 작업에서 손실 헤시안의 최대 고유값 ($\\lambda_1$) 의 변화를 경험적으로 측정한다.
• 학습률, 웜업 기간, 초기화 방법(예: MetaInit, Fixup, GradInit), 아키텍처 선택(예: 정규화 레이어 배치)을 체계적으로 변화시킨다.
• WideResNet 및 ResNet-50 등의 대규모 모델을 대상으로 $\\lambda_1$ 의 동적 변화를 시간에 따라 추적한다.
• 학습률 웜업이 정규화, 초기화, 기울기 클리핑과 비교하여 $\\lambda_1$ 를 얼마나 줄이는지 비교한다.
• $\\lambda_1$ 와 이론적 안정성 한계인 $2/\\eta$ 의 관계를 분석하여 안정성 조건을 검증한다.
• Adam로 학습된 트랜스포머에 분석을 확장하여, 적응형 최적화에도 불구하고 유사한 $\\lambda_1$ - 학습률 적응 현상이 나타남을 보여준다.

실험 결과

연구 질문

• RQ1 손실 헤시안의 최대 고유값 ($\\lambda_1$) 은 학습 중 어떻게 변화하며, 이는 이론적 안정성 한계인 $2/\\eta$ 이하로 유지되는가?
• RQ2 다양한 초기화 전략은 초기 학습 단계에서 $\\lambda_1$ 를 얼마나 줄이며, 이는 더 높은 학습률을 허용하는 데 어떻게 기여하는가?
• RQ3 학습률 웜업은 $\\lambda_1$ 를 점진적으로 감소시켜 학습을 안정화시키는가? 이는 아키텍처적 정규화나 더 나은 초기화와 비교해 어떻게 다른가?
• RQ4 학습률 웜업만으로 MetaInit, Fixup 등의 고급 초기화 방법과 동등한 성능을 달성할 수 있는가?
• RQ5 높은 손실 곡률은 큰 배치 크기와의 스케일링에 어떤 영향을 미치며, 곡률 감소 조치는 데이터 병렬성 효율을 어떻게 향상시킬 수 있는가?

주요 결과

• SGD+모멘타임을 사용한 학습은 $\\lambda_1 \lesssim 2/\\eta$ 일 때만 안정적이며, 이 조건은 다양한 모델과 작업에서 경험적으로 확인되었다.
• 적절한 초기화 전략(예: MetaInit, GradInit, Fixup) 은 초기 학습 단계에서 $\\lambda_1$ 를 감소시켜 더 높은 학습률에서의 안정적 학습을 가능하게 한다.
• 학습률 웜업은 초기 학습 단계에서 $\\lambda_1$ 를 점진적으로 감소시켜 정규화 및 고급 초기화와 유사한 효과를 제공한다.
• 학습률 웜업만으로도 MetaInit, Fixup, GradInit 와 같은 복잡한 초기화 방법의 성능을 따라잡을 수 있다.
• 높은 손실 곡률은 큰 배치 크기와의 스케일링을 악화시키며, 곡률 감소 조치는 데이터 병렬성 효율을 크게 향상시킨다.
• 모델과 최적화기 모두에서 $\\lambda_1$ 가 학습률에 적응하는 방식은 일관되며, Adam을 포함한 다양한 최적화기에서도 동일한 경향을 보이며, 이는 고전 최적화 이론과 배치된 기본적인 최적화 역학을 시사한다.