[논문 리뷰] Why gradient clipping accelerates training: A theoretical justification for adaptivity

Jingzhao Zhang, Tianxing He외 2명|arXiv (Cornell University)|2019. 05. 28.

Stochastic Gradient Optimization Techniques참고 문헌 57인용 수 140

한 줄 요약

이 논문은 그래디언트 노름과 함께 커질 수 있는 완화된 스무딩 조건을 도입하고 이 조건 아래 그래디언트 클리핑과 정규화된 그래디언트 방법이 고정 스텝 경사하강법보다 더 빨리 수렴할 수 있음을 입증하며, NLP 및 비전 태스크에서의 실증적 검증을 제시한다.

ABSTRACT

We provide a theoretical explanation for the effectiveness of gradient clipping in training deep neural networks. The key ingredient is a new smoothness condition derived from practical neural network training examples. We observe that gradient smoothness, a concept central to the analysis of first-order optimization algorithms that is often assumed to be a constant, demonstrates significant variability along the training trajectory of deep neural networks. Further, this smoothness positively correlates with the gradient norm, and contrary to standard assumptions in the literature, it can grow with the norm of the gradient. These empirical observations limit the applicability of existing theoretical analyses of algorithms that rely on a fixed bound on smoothness. These observations motivate us to introduce a novel relaxation of gradient smoothness that is weaker than the commonly used Lipschitz smoothness assumption. Under the new condition, we prove that two popular methods, namely, \\emph{gradient clipping} and \\emph{normalized gradient}, converge arbitrarily faster than gradient descent with fixed stepsize. We further explain why such adaptively scaled gradient methods can accelerate empirical convergence and verify our results empirically in popular neural network training settings.

연구 동기 및 목표

• 심층 신경망 학습에서 적응형 그래디언트 방법이 왜 잘 작동하는지 동기를 부여한다.
• 해 Hessian 노름이 그래디언트 노름과 함께 증가할 수 있음을 허용하는 새로운 완화된 스무딩 조건을 도입한다.
• 새로운 조건하에서 클리핑된 경사하강법과 정규화된 경사하강법의 수렴성과 수렴 속도 결과를 증명한다.
• 표준 GD와 비교한 확정적 및 확률적 수렴 분석을 제공한다.
• NLP 언어모델링 및 이미지 분류 태스크에서 이론을 실증적으로 검증한다.

제안 방법

• 완화된 (L0,L1)-스무딩 조건을 정의한다: ||∇2f(x)|| ≤ L0 + L1||∇f(x)||.
• 새로운 조건하에서 고정 스텝 크기의 경사하강법, 클립된 경사하강법, 그리고 정규화된 경사하강법을 분석한다.
• 결정적 GD와 클립 GD의 수렴 속도에 대한 상한 및 하한을 증명한다(정리 3, 4, 6).
• 확률적 설정으로 분석을 확장하고 확률적 클립 GD와 SGD에 대한 수렴 보장을 도출한다(정리 7, 8).
• 상수까지의 등가성을 위해 매개변수 설정(γ, ηc, ηn)에 대해 클립 GD를 정규화 GD와 연결하고 실용적 논의를 제시한다.

실험 결과

연구 질문

• RQ1 국소적 스무스함이 그래디언트 노름과 함께 증가하는 완화된 스무스니스 조건이 적응형 그래디언트 방법에 더 빠른 수렴 보장을 주는가?
• RQ2 완화된 스무스니스 조건하에서 그래디언트 클리핑과 정규화된 그래디언트 방법이 고정 스텝 경사하강법보다 더 빠르게 수렴하는가?
• RQ3 이 이론적 결과들이 신경망 학습에서 흔히 보는 확률적 설정으로 어떻게 확장되는가?
• RQ4 제안된 완화된 스무스니스 조건과 그것이 NLP 및 CV 태스크에서 그래디언트 클리핑 효과와의 연결을 지지하는 실증적 증거는 무엇인가?
• RQ5 이러한 발견이 왜 실무에서 적응형 방법이 SGD보다 우수하다는 것을 설명하는가?

주요 결과

• 새로운 (L0,L1)-스무스니스 조건하에서 클리핑된 GD가 고정 스텝 GD보다 임의로 더 빨리 수렴한다(정리 3).
• 완화된 스무스니스 프레임워크에서 고정 스텝 GD가 클리핑된 GD보다 임의로 느릴 수 있다(정리 4).
• 결정적 GD의 고정 스텝 크기에서의 상한은 L0와 L1에 묶여 있지만, 클리핑된 GD는 개선된 속도를 보인다(정리 6).
• 확률적 클립 GD와 SGD는 클리핑이 고정 스텝의 SGD보다 더 빨라질 수 있음을 보여준다(정리 7, 8).
• 실증적 NLP 실험(AWD-LSTM 언어 모델링)은 그래디언트 스무스니스가 그래디언트 노름과 상관 관계가 있음을 보여주며 이론과 일치하고, LM에서의 수렴 가속화 및 CV 성능 향상 가능성을 시사한다.