[논문 리뷰] On the Stability and Convergence of Stochastic Gradient Descent with Momentum.

Ali Ramezani-Kebrya, Ashish Khisti외 1명|arXiv (Cornell University)|2018. 09. 12.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 조기 모멘타임(early momentum) 방법을 도입하고 일반화 오차 및 수렴성을 분석함으로써 모멘타임을 갖는 확률적 경사하강법에 대한 이론적 보장을 제공한다. 일반적이고 강력한 볼록 손실 함수에 대해 일반화 오차와 기대 기울기 노름의 상한을 확립하여 실무에서 모멘타임 하이퍼파ram터 선택에 대한 이론적 안내를 제공한다.

ABSTRACT

While momentum-based methods, in conjunction with the stochastic gradient descent, are widely used when training machine learning models, there is little theoretical understanding on the generalization error of such methods. In practice, the momentum parameter is often chosen in a heuristic fashion with little theoretical guidance. In the first part of this paper, for the case of general loss functions, we analyze a modified momentum-based update rule, i.e., the method of early momentum, and develop an upper-bound on the generalization error using the framework of algorithmic stability. Our results show that machine learning models can be trained for multiple epochs of this method while their generalization errors are bounded. We also study the convergence of the method of early momentum by establishing an upper-bound on the expected norm of the gradient. In the second part of the paper, we focus on the case of strongly convex loss functions and the classical heavy-ball momentum update rule. We use the framework of algorithmic stability to provide an upper-bound on the generalization error of the stochastic gradient method with momentum. We also develop an upper-bound on the expected true risk, in terms of the number of training steps, the size of the training set, and the momentum parameter. Experimental evaluations verify the consistency between the numerical results and our theoretical bounds and the effectiveness of the method of early momentum for the case of non-convex loss functions.

연구 동기 및 목표

• 모멘타임 기반 확률적 경사하강법에서 일반화 오차에 대한 이론적 이해 부족을 해결하기 위해.
• 실무에서 모멘타임 파라미터를 선택하기 위한 이론적 프레임워크를 제공하여 히우리스틱 튜닝을 넘어서기 위해.
• 일반 손실 함수에 대해 조기 모멘타임 방법의 수렴성과 안정성을 분석하기 위해.
• 고전적인 무거운 공 모멘타임 업데이트를 사용하여 강력한 볼록 손실 함수로 분석을 확장하기 위해.
• 학습 스텝 수, 데이터셋 크기, 모멘타임 파라미터를 변수로 하는 일반화 오차와 기대 진짜 위험의 상한을 유도하기 위해.

제안 방법

• 비볼록 설정에서 안정성과 일반화를 향상시키기 위해 수정된 모멘타임 업데이트 규칙인 '조기 모멘타임'을 제안한다.
• 알고리즘 안정성 이론을 사용하여 조기 모멘타임 방법의 일반화 오차에 대한 상한을 유도한다.
• 조기 모멘타임 방법의 수렴성을 분석하기 위해 기대 기울기 노름의 상한을 확립한다.
• 동일한 알고리즘 안정성 프레임워크를 강력한 볼록 손실 함수에 대한 고전적 헤비볼 모멘타임 업데이트에 적용한다.
• 학습 스텝 수, 학습 세트 크기, 모멘타임 파라미터의 함수로 기대 진짜 위험의 상한을 도출한다.
• 최적화 이론과 일반화 이론에 기반한 이론적 분석을 활용하여 모멘타임 동역학과 일반화 성능 간의 관계를 연결한다.

실험 결과

연구 질문

• RQ1 일반 손실 함수에 대해 조기 모멘타임 방법은 다수의 학습 에포크 동안 유한한 일반화 오차를 보장할 수 있는가?
• RQ2 조기 모멘타임 방법의 수렴을 보장하기 위해 기대 기울기 노름에 대해 유도할 수 있는 상한은 무엇인가?
• RQ3 알고리즘 안정성 이론은 강력한 볼록 손실 함수의 경우 고전적 헤비볼 모멘타임 업데이트에 어떻게 적용되는가?
• RQ4 강력한 볼록 설정에서 모멘타임 파라미터, 학습 스텝 수, 기대 진짜 위험 간의 이론적 관계는 무엇인가?
• RQ5 비볼록 최적화 시나리오에서 이론적 상한과 경험적 결과는 어떻게 비교되는가?

주요 결과

• 조기 모멘타임 방법은 일반 손실 함수에 대해 다수의 에포크 동안 유한한 일반화 오차를 보장하여 실무 적용에 대한 이론적 근거를 제공한다.
• 기대 기울기 노름에 대한 상한이 도출되어 조기 모멘타임 방법의 수렴성을 뒷받침한다.
• 강력한 볼록 손실 함수에 대해 알고리즘 안정성 이론을 사용하여 일반화 오차에 대한 상한을 확립한다.
• 기대 진짜 위험에 대한 이론적 상한이 유도되며, 이는 학습 스텝 수, 데이터셋 크기, 모멘타임 파라미터에 명시적으로 의존한다.
• 실험 결과는 이론적 상한과 수치 성능 간의 일관성을 확인하여 비볼록 설정에서 조기 모멘타임의 효과성을 검증한다.
• 이론적 프레임워크는 히우리스틱 튜닝에 의존하는 것을 줄이고 모멘타임 파라미터 선택에 체계적인 근거를 제공한다.