[논문 리뷰] Improved Analysis of Clipping Algorithms for Non-convex Optimization

Bohang Zhang, Jikai Jin외 2명|arXiv (Cornell University)|2020. 01. 01.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 비볼록 최적화에서 기울기 클리핑을 분석하기 위한 일반적인 프레임워크를 제안하며, 모멘텀 방법을 통합하고 $(L_0, L_1)$-스무쓰니스 가정 하에 더 날카운 수렴 보장을 수립한다. 클리핑 기반 방법이 극도로 비스무쓰한 영역에서도 효율성을 유지함을 보이며, 이론적 결과는 기존 알려진 하한값과 일치하고 딥 러닝 작업에서의 경험적 검증을 통해 뒷받_UNDERLINE{받고 있다}.

ABSTRACT

Gradient clipping is commonly used in training deep neural networks partly due to its practicability in relieving the exploding gradient problem. Recently, \citet{zhang2019gradient} show that clipped (stochastic) Gradient Descent (GD) converges faster than vanilla GD/SGD via introducing a new assumption called $(L_0, L_1)$-smoothness, which characterizes the violent fluctuation of gradients typically encountered in deep neural networks. However, their iteration complexities on the problem-dependent parameters are rather pessimistic, and theoretical justification of clipping combined with other crucial techniques, e.g. momentum acceleration, are still lacking. In this paper, we bridge the gap by presenting a general framework to study the clipping algorithms, which also takes momentum methods into consideration. We provide convergence analysis of the framework in both deterministic and stochastic setting, and demonstrate the tightness of our results by comparing them with existing lower bounds. Our results imply that the efficiency of clipping methods will not degenerate even in highly non-smooth regions of the landscape. Experiments confirm the superiority of clipping-based methods in deep learning tasks.

연구 동기 및 목표

• 기존 클리핑 기울기 강하법의 수렴 분석에서 나타나는 낙관적인 반복 복잡도 문제를 해결하기 위해.
• 비볼록 최적화에 대해 기울기 클리핑에 모멘텀 가속을 통합한 통합 이론적 프레임워크를 제공하기 위해.
• $(L_0, L_1)$-스무쓰니스 가정 하에 클리핑 방법의 날카운 수렴 한계를 수립하여 기존 하한값과 일치시키기 위해.
• 딥 러닝에서 기울기가 빈번히 급격한 변동을 보이는 점을 고려해, 클리핑과 모멘텀을 함께 사용하는 것의 이론적 정당성을 제시하기 위해.

제안 방법

• 비결정적 및 확률적 설정 모두에서 클리핑 기울기 강하법과 모멘텀 방법을 통합하는 일반적인 알고리즘 프레임워크를 제안한다.
• $(L_0, L_1)$-스무쓰니스 가정 하에서 새로운 수렴 분석을 도입하며, 이는 딥 뉴럴 네트워크 기울기의 비스무쓰함을 모델링한다.
• 기존 비볼록 최적화의 알려진 이론적 하한값과 일치하는, 날카운 반복 복잡도 한계를 유도한다.
• 비결정적 및 확률적 버전의 클리핑 모멘텀 알고리즘을 분석하여 미니배치 학습에의 적용 가능성을 보장한다.
• 수렴 속도를 특성화하기 위해 문제에 의존적인 매개변수를 사용하여 이전의 낙관적인 한계를 개선한다.
• 딥 러닝 작업에서의 실험을 통해 이론적 결과를 검증하여, 클리핑 기반 방법의 실용적 우수성을 확인한다.

실험 결과

연구 질문

• RQ1 모멘텀의 통합은 비볼록 최적화에서 클리핑 기울기 강하법의 수렴 성질에 어떻게 영향을 미치는가?
• RQ2 $(L_0, L_1)$-스무쓰니스 가정 하에서 클리핑 기울기 강하법의 수렴 보장은 어떻게 날카워질 수 있는가?
• RQ3 기울기 경로의 극도로 비스무쓰한 영역에서도 클리핑이 효율성을 유지하는가? (딥 뉴럴 네트워크에서 자주 관찰되는 바와 같이)
• RQ4 클리핑 방법의 이론적 반복 복잡도는 비볼록 최적화에서 알려진 하한값과 어떻게 비교되는가?
• RQ5 딥 러닝 훈련에서 기울기 클리핑과 모멘텀을 함께 사용하는 데 이론적 정당성은 무엇인가?

주요 결과

• 제안된 프레임워크는 기존 하한값과 일치하는 수렴 속도를 달성하여 분석의 이론적 날카움을 보여준다.
• 클리핑 기반 방법은 기대와는 달리 극도로 비스무쓰한 영역에서도 효율성을 유지한다.
• 기울기 클리핑과 모멘텀의 통합은 이론적 보장을 훼손하지 않으면서도 수렴 행동을 향상시킨다.
• 유도된 반복 복잡도 한계는 이전 연구의 것보다 상당히 날카롭게 개선되어 이전의 낙관적인 추정을 해결한다.
• 경험적 결과는 클리핑 기반 방법이 딥 러닝 작업에서 우월함을 확인하며 이론적 결과를 뒷받침한다.
• 분석은 클리핑이 실질적인 딥 러닝 훈련에서 성공한 이유를 통합적인 이론적 기초로 제공한다.