[논문 리뷰] Why gradient clipping accelerates training: A theoretical justification for adaptivity

Jingzhao Zhang, Tianxing He외 2명|arXiv (Cornell University)|2019. 05. 28.

Stochastic Gradient Optimization Techniques참고 문헌 53인용 수 85

한 줄 요약

논문은 경사 벡터의 노름으로 증가하는 해석적 경계가 있는 완화된 매끄러움 조건(L0,L1-smooth)을 도입하고, 잘라진 그래디언트 디센트와 정규화된 그래디언트가 이 조건에서 고정 스텝 그래디언트 디센트보다 더 빠르게 수렴할 수 있음을 증명하며 NLP 및 CV 실험에서 경험적 지지를 제시한다.

ABSTRACT

We provide a theoretical explanation for the effectiveness of gradient clipping in training deep neural networks. The key ingredient is a new smoothness condition derived from practical neural network training examples. We observe that gradient smoothness, a concept central to the analysis of first-order optimization algorithms that is often assumed to be a constant, demonstrates significant variability along the training trajectory of deep neural networks. Further, this smoothness positively correlates with the gradient norm, and contrary to standard assumptions in the literature, it can grow with the norm of the gradient. These empirical observations limit the applicability of existing theoretical analyses of algorithms that rely on a fixed bound on smoothness. These observations motivate us to introduce a novel relaxation of gradient smoothness that is weaker than the commonly used Lipschitz smoothness assumption. Under the new condition, we prove that two popular methods, namely, \emph{gradient clipping} and \emph{normalized gradient}, converge arbitrarily faster than gradient descent with fixed stepsize. We further explain why such adaptively scaled gradient methods can accelerate empirical convergence and verify our results empirically in popular neural network training settings.

연구 동기 및 목표

• 적응형 그래디언트 방법이 신경망 학습에서, 특히 NLP와 CV 작업에서 왜 잘 작동하는지 동기를 부여한다.
• 그래디언트 노름과 함께 국소적인 매끄러움을 키우도록 허용하고 Lipschitz 매끄러움보다 약한 조건인 완화된 매끄러움 조건을 도입한다: L-매끄러움(L-smoothness).
• 새로운 매끄러움 조건 하에서 잘라진 그래디언트 디센트와 정규화된 그래디언트의 수렴 보장을 보인다.
• 이론을 검증하고 가속 메커니즘을 설명하기 위해 언어 모델링과 이미지 분류의 실험적 증거를 제공한다.

제안 방법

• 새로운 (L0,L1)-매끄러움 정의: ||∇2f(x)|| ≤ L0 + L1||∇f(x)||.
• 이 완화된 매끄러움 하에서 잘라진 GD와 정규화된 GD(NGD)를 포함한 그래디언트 기반 방법을 분석한다.
• 수렴 속도와 경계 증명: 결정적 잘라진 GD에 대한 정리 3; 고정 스텝 크기와 잘라진 GD를 비교하는 정리 4와 6.
• 가정 1–5를 포함한 확률적 설정으로 분석을 확장하고, 확률적 잘라진 GD와 SGD를 비교하는 정리 7과 8을 도출한다.
• 그들의 스텝 크기가 상수에 비례하여 동등함을 보임으로써 잘라진 GD와 NGD를 관계지음.
• 그림으로써 이론을 뒷받침: 신경망 학습 직관과 그래디언트 노름이 국소 매끄러움과 상관관계가 있음을 경험적으로 관찰한다.

실험 결과

연구 질문

• RQ1 제안된 (L0,L1)-매끄러움 조건이 표준 Lipschitz 매끄러움과 비교했을 때 신경망 손실지형을 충분히 설명하는가?
• RQ2 새로운 매끄러움 가정하에서 그래디언트 클리핑과 정규화된 그래디언트 디센트가 고정 스텝 GD보다 더 빠르게 수렴할 수 있는가?
• RQ3 완화된 매끄러움 하에서 잘라진 GD의 확률적 변형이 고정 스텝 크기를 가진 SGD보다 더 빠르게 수렴하는가?
• RQ4 NLP와 CV 과제에서의 실험적 학습 역학이 그래디언트 노름과 국소 매끄러움 간의 예측된 상관관계를 보이는가?
• RQ5 언어 모델링 및 이미지 분류에서의 실험이 이론적 가속을 뒷받침하는가?

주요 결과

• (L0,L1)-매끄러움 조건하에서 잘라진 GD가 고정 스텝 GD보다 임의로 빠르게 수렴한다.
• 완화된 매끄러움 하에서 확률적 잘라진 GD의 경계가 고정 스텝 크기의 SGD보다 더 빠른 수렴을 보인다.
• 실험적 NLP 학습에서 그래디언트 노름과 국소 매끄러움 사이의 강한 상관관계가 밝혀져 이론을 뒷받침한다.
• LSTM 언어 모델링과 CIFAR-10의 ResNet20 실험은 클리핑이 학습을 가속화하고 베이스라인 성능에 필적하거나 이를 능가할 수 있음을 보여준다.
• 그래디언트 클리핑은 비매끄러운 영역을 지나가도록 학습 궤적을 가능하게 하여 실제 경험적 수렴 속도가 빨라지는 것을 설명한다.