[논문 리뷰] Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness

V. Vien, Mikael Johansson|arXiv (Cornell University)|2021. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 15

한 줄 요약

이 논문은 비미분 가능 볼록 함수에서 기울기의 크기가 빠르게 증가하는 경우에 대해 클리핑된 확률적 (부)미분계수 하강법의 최초의 유한 수렴 속도를 확립한다. 기울기 클리핑이 안정성을 향상시키고 기울기가 유계가 아니어도 수렴을 가능하게 한다는 것을 보여준다. 새로운 리아푸노프 분석을 통해 저자들은 표준 가정 하에 약한 볼록 문제에 대해 최고의 알려진 수렴 속도를 달성함을 증명한다.

ABSTRACT

Stochastic gradient algorithms are often unstable when applied to functions that do not have Lipschitz-continuous and/or bounded gradients. Gradient clipping is a simple and effective technique to stabilize the training process for problems that are prone to the exploding gradient problem. Despite its widespread popularity, the convergence properties of the gradient clipping heuristic are poorly understood, especially for stochastic problems. This paper establishes both qualitative and quantitative convergence results of the clipped stochastic (sub)gradient method (SGD) for non-smooth convex functions with rapidly growing subgradients. Our analyses show that clipping enhances the stability of SGD and that the clipped SGD algorithm enjoys finite convergence rates in many cases. We also study the convergence of a clipped method with momentum, which includes clipped SGD as a special case, for weakly convex problems under standard assumptions. With a novel Lyapunov analysis, we show that the proposed method achieves the best-known rate for the considered class of problems, demonstrating the effectiveness of clipped methods also in this regime. Numerical results confirm our theoretical developments.

연구 동기 및 목표

• 기울기가 무한대이거나 기울기 크기가 급격히 증가하는 문제에서 확률적 기울기 방법의 불안정성을 해결한다.
• 기울기의 리프시츠 연속성과 미분 가능성이라는 전통적 가정을 초월하여 클리핑된 확률적 (부)기울기 하강법의 수렴 성질을 조사한다.
• 기울기가 제곱보다 더 빠르게 증가하는 비미분 가능 볼록 함수에 대해 클리핑된 SGD의 유한 수렴 속도를 확립한다.
• 표준 가정 하에 약한 볼록 문제에 대해 클리핑된 모멘타움 방법의 수렴성을 분석한다.
• 기울기 클리핑이 안정성을 향상시키고 기존 SGD가 실패하는 영역에서도 수렴을 가능하게 한다는 것을 보여준다.

제안 방법

• 업데이트 방향을 반지름 γk의 구 안으로 클리핑하여 단계 크기를 제어하고 발산을 방지하는 클리핑된 확률적 (부)기울기 방법을 제안한다.
• 특히 약한 볼록성과 비미분 가능성을 고려한 수렴성을 확보하기 위해 새로운 리아푸노프 함수 분석 기법을 사용한다.
• 표준 클리핑된 SGD와 모멘타움 변형을 모두 분석하여, 모멘타움 버전이 최고의 알려진 수렴 속도를 달성함을 보여준다.
• 기대 기울기 노름을 유한하게 유지하고 반복값의 행동을 제어하기 위해 프록시멀 유사 분석 프레임워크를 도입한다.
• 비미분 가능성을 다루기 위해 모레우 환경을 통한 정규화 기법을 활용하여 수렴 한계를 유도한다.
• 목적 함수 값과 기울기 노름 항을 포함하는 리아푸노프 함수의 기대 감소를 분석하여 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 비미분 가능 볼록 함수에서 기울기가 무한대가 되는 경우 기울기 클리핑이 확률적 기울기 하강법의 안정성을 높일 수 있는가?
• RQ2 기울기의 표준 미분 가능성과 리프시츠 연속성 가정이 성립하지 않을 경우 클리핑된 SGD가 달성할 수 있는 수렴 속도는 무엇인가?
• RQ3 모멘타움을 포함할 경우 약한 볼록 설정에서 클리핑된 확률적 기울기 방법의 수렴에 어떤 영향을 미치는가?
• RQ4 유연한 정규성 조건 하에서 유한 수렴 속도를 증명하기 위해 리아푸노프 함수를 구성할 수 있는가?
• RQ5 기울기가 제곱보다 더 빠르게 증가하는 경우 스토하스틱 설정에서 기울기 클리핑이 수렴을 유지하는가?

주요 결과

• 기울기가 무한대가 되는 비미분 가능 볼록 함수에서 기울기가 급격히 증가하는 경우에도 클리핑된 확률적 (부)기울기 하강법이 유한 수렴 속도를 달성한다.
• 모멘타움을 포함한 제안된 방법은 표준 가정 하에 약한 볼록 문제에 대해 최고의 알려진 수렴 속도를 달성한다.
• 모레우 환경에서 기대 기울기 노름을 유한하게 제어함으로써 수렴을 증명하는 새로운 리아푸노프 분석 기법이 개발되었다.
• 수렴 속도는 최소한의 가정 하에 유도되었으며, 기울기가 유계 집합에서 유계라는 조건만 필요로 하며, 이는 연속 함수에 대해 항상 성립한다.
• 수치적 결과는 이론적 결과를 확인하며 실질적으로 더 뛰어난 안정성과 수렴 성능을 보여준다.
• 분석 결과 클리핑이 발산을 방지하고 리프시츠 연속성이나 유계 기울기 조건 없이도 수렴을 가능하게 한다는 것이 입증되었다.