[논문 리뷰] On the convergence of the Stochastic Heavy Ball Method.

Othmane Sebbouh, Robert M. Gower외 1명|arXiv (Cornell University)|2020. 06. 14.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 17

한 줄 요약

이 논문은 부드러움과 볼록성 조건만을 가정할 때 Stochastic Heavy Ball (SHB) 방법이 최소화자로 거의 확실히 수렴함을 입증하며, 과다 매개변수화된 설정과 결정론적 설정 모두에서 SGD보다 함수 값 수렴 속도가 더 빠름을 보여줍니다. 반복 단계에 따라 변화하는 학습률과 운동량 파rameter를 도입함으로써 최종 반복값 평균화가 필요 없어지며, 유계 기울기 조건을 요구하지 않아도 더 빠른 수렴 속도를 달성합니다.

ABSTRACT

We provide a comprehensive analysis of the Stochastic Heavy Ball (SHB) method (otherwise known as the momentum method), including a convergence of the last iterate of SHB, establishing a faster rate of convergence than existing bounds on the last iterate of Stochastic Gradient Descent (SGD) in the convex setting. Our analysis shows that unlike SGD, no final iterate averaging is necessary with the SHB method. We detail new iteration dependent step sizes (learning rates) and momentum parameters for the SHB that result in this fast convergence. Moreover, assuming only smoothness and convexity, we prove that the iterates of SHB converge extit{almost surely} to a minimizer, and that the convergence of the function values of (S)HB is asymptotically faster than that of (S)GD in the overparametrized and in the deterministic settings. Our analysis is general, in that it includes all forms of mini-batching and non-uniform samplings as a special case, using an arbitrary sampling framework. Furthermore, our analysis does not rely on the bounded gradient assumptions. Instead, it only relies on smoothness, which is an assumption that can be more readily verified. Finally, we present extensive numerical experiments that show that our theoretically motivated parameter settings give a statistically significant faster convergence across a diverse collection of datasets.

연구 동기 및 목표

• 최소한의 가정, 즉 부드러움과 볼록성 조건 하에서 Stochastic Heavy Ball (SHB) 방법의 거의 확실히 수렴함을 입증하는 것.
• 과다 매개변수화된 설정과 결정론적 설정 모두에서 SHB가 SGD보다 함수 값 수렴 속도가 더 빠름을 보여주는 것.
• SHB에서 최종 반복값 평균화가 필요 없도록 반복 단계에 따라 변화하는 학습률과 운동량 파rameter를 유도함으로써 이를 제거하는 것.
• 유계 기울기 조건이 필요 없는 임의의 샘플링, 미니배치, 비균일 샘플링을 수용할 수 있는 일반적인 분석 프레임워크를 개발하는 것.
• 다양한 데이터셋을 대상으로 광범위한 수치 실험을 통해 이론적으로 유도된 파rameter 설정의 타당성을 검증하는 것.

제안 방법

• 분석은 미니배치와 비균일 샘플링을 특수 케이스로 포함하는 일반화된 임의의 샘플링 프레임워크를 사용합니다.
• 수렴 가속화와 거의 확실히 수렴 보장에 맞추어 반복 단계에 따라 변화하는 학습률과 운동량 파rameter를 도입합니다.
• 일반적으로 사용되지만 제한적인 조건인 기울기 유계 조건을 피하기 위해 부드러움 조건만을 기반으로 합니다.
• 반복값과 함수 값의 시간에 따른 변화를 추적하는 새로운 리아푸노프 함수 분석을 통해 수렴을 증명합니다.
• 결정론적 및 확률적 설정, 과다 매개변수화된 모델 모두에 프레임워크를 적용합니다.
• 다양한 데이터셋에서 수치 실험을 수행하여 이론적 수렴 속도 향상의 실증적 타당성을 검증합니다.

실험 결과

연구 질문

• RQ1 유계 기울기 조건 없이 부드러움과 볼록성 조건만을 가정할 때 Stochastic Heavy Ball 방법이 거의 확실히 최소화자로 수렴할 수 있는가?
• RQ2 과다 매개변수화된 설정과 결정론적 설정 모두에서 SHB 방법이 SGD보다 함수 값 수렴 속도가 더 빠른가?
• RQ3 SHB에서 최종 반복값 평균화가 필수적인가, 아니면 적절한 파rameter 조정을 통해 평균화 없이 더 빠르게 수렴할 수 있는가?
• RQ4 반복 단계에 따라 변화하는 학습률과 운동량 파rameter를 설계하여 더 빠른 수렴과 평균화 필요 없음을 보장할 수 있는가?
• RQ5 이론적으로 도출된 파rameter 설정이 다양한 데이터셋에서 수렴 속도 향상에 통계적으로 유의미한 개선을 이끌어내는가?

주요 결과

• 유계 기울기 조건 없이도 부드러움과 볼록성 조건만을 가정할 때 SHB 방법의 반복값은 거의 확실히 최소화자로 수렴합니다.
• 과다 매개변수화된 설정과 결정론적 설정 모두에서 SHB의 함수 값 수렴 속도는 점점 더 SGD보다 빠릅니다.
• 제안된 반복 단계에 따라 변화하는 학습률과 운동량 파rameter 덕분에 SHB는 최종 반복값 평균화 없이도 더 빠른 수렴을 달성합니다.
• 분석은 미니배치와 비균일 샘플링을 포함한 임의의 샘플링으로 일반화되며, 일반성 손실 없이 적용 가능합니다.
• 광범위한 수치 실험을 통해 이론적으로 유도된 파rameter 설정이 다양한 데이터셋에서 수렴 속도 향상에 통계적으로 유의미한 개선을 가져옴을 확인했습니다.
• 이론적 주장은 다양한 데이터 분포와 모델 아키텍처에서 성능 우수성이 뚜렷하게 유지되어 실증적으로 검증되었습니다.