[논문 리뷰] Fast Stochastic Variance Reduced Gradient Method with Momentum Acceleration for Machine Learning

Fanhua Shang, Yuanyuan Liu외 2명|arXiv (Cornell University)|2017. 03. 23.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 21

한 줄 요약

이 논문은 Nesterov의 모멘텀과 증가하는 에포크 크기를 갖춘 새로운 확률적 분산 감소 경사 하강법인 FSVRG을 제안한다. 단 하나의 보조 변수와 하나의 모멘텀 가중치만을 사용하며, 강凸 문제에 대해 선형 수렴를 달성하고 비강凸 문제에 대해 최적의 O(1/T²) 수렴 속도를 보이며, 기존 최고 수준의 방법들인 Katyusha를 능가하는 실용적 성능을 보인다.

ABSTRACT

Recently, research on accelerated stochastic gradient descent methods (e.g., SVRG) has made exciting progress (e.g., linear convergence for strongly convex problems). However, the best-known methods (e.g., Katyusha) requires at least two auxiliary variables and two momentum parameters. In this paper, we propose a fast stochastic variance reduction gradient (FSVRG) method, in which we design a novel update rule with the Nesterov's momentum and incorporate the technique of growing epoch size. FSVRG has only one auxiliary variable and one momentum weight, and thus it is much simpler and has much lower per-iteration complexity. We prove that FSVRG achieves linear convergence for strongly convex problems and the optimal $\mathcal{O}(1/T^2)$ convergence rate for non-strongly convex problems, where $T$ is the number of outer-iterations. We also extend FSVRG to directly solve the problems with non-smooth component functions, such as SVM. Finally, we empirically study the performance of FSVRG for solving various machine learning problems such as logistic regression, ridge regression, Lasso and SVM. Our results show that FSVRG outperforms the state-of-the-art stochastic methods, including Katyusha.

연구 동기 및 목표

• 기존 가속화된 확률적 최적화 방법들인 Katyusha와 같이 다수의 보조 변수와 모멘텀 파rameter를 필요로 하는 복잡한 설계와 높은 반복 복잡도 문제를 해결하기 위해.
• 강凸 및 비강凸 문제 모두에 대해 빠른 수렴 속도를 유지하면서도 더 단순하고 효율적인 확률적 최적화 방법을 개발하기 위해.
• SVM 및 Lasso와 같은 비미분 가능 성분 함수를 다룰 수 있도록 방법을 확장하여, 더미 정규화 요소에 의존하지 않도록 하기 위해.
• 강凸 문제에 대해 선형 수렴 속도, 비강凸 문제에 대해 최적의 O(1/T²) 수렴 속도를 달성하면서도 계산 오버헤드를 최소화하기 위해.

제안 방법

• 단 하나의 보조 변수와 하나의 모멘텀 가중치만을 사용하는 새로운 업데이트 규칙을 제안하며, Nesterov의 모멘텀을 분산 감소 프레임워크에 통합한다.
• 수렴 속도를 가속화하기 위해 에포크 크기를 점진적으로 증가시키는 전략을 도입하여, 외부 루프당 내부 반복 수를 동적으로 증가시킨다.
• 전체 경사 정보와 확률적 경사를 조합하여 분산을 효율적으로 감소시키는 하이브리드 경사 추정기를 사용한다.
• 비미분 가능 정규화 요소인 ℓ₁-노름과 엘라스틱 넷을 다룰 수 있도록 프록시멀 업데이트를 적용하여, SVM 및 Lasso에 직접 적용 가능하게 한다.
• 최적 해와의 거리와 모멘텀 항을 추적하는 리아푸노프 함수를 사용하여 수렴 한계를 유도한다.
• 이론적 보장을 수립: 강凸 문제에 대해 선형 수렴, 비강凸 문제에 대해 O(1/T²) 수렴 속도를 확보한다.

실험 결과

연구 질문

• RQ1 단 하나의 보조 변수와 하나의 모멘텀 파rameter만을 사용하여도 확률적 최적화 방법이 선형 수렴를 달성할 수 있는가?
• RQ2 Nesterov의 모멘텀과 증가하는 에포크 크기를 통합함으로써 반복 복잡도를 증가시키지 않고도 수렴 속도를 향상시킬 수 있는가?
• RQ3 기존 방법보다 더 단순하면서도 비강凸 문제에 대해 최적의 O(1/T²) 수렴 속도를 유지할 수 있는가?
• RQ4 SVM 및 Lasso와 같은 비미분 가능 문제에서 FSVRG은 기존 최고 수준의 방법들보다 어떻게 성능을 발휘하는가?
• RQ5 다양한 기계 학습 작업에서 실용적으로 확장 가능하고 효율적인가?

주요 결과

• FSVRG는 강凸 문제에 대해 선형 수렴를 달성하며, 기존에 알려진 최고의 이론적 한계와 일치한다.
• 비강凸 문제에 대해서는 최적의 O(1/T²) 수렴 속도를 확보하며, 표준 확률적 방법의 O(1/T) 수렴 속도를 능가한다.
• 단 하나의 보조 변수와 하나의 모멘텀 가중치만을 요구하므로, Katyusha와 같은 방법들에 비해 반복 복잡도가 크게 감소한다.
• 실험 결과, 로지스틱 회귀, 리지 회귀, Lasso, SVM 작업에서 기존 최고 수준의 방법들, 특히 Katyusha를 능가하는 성능을 보였다.
• 더미 정규화 요소를 도입하지 않아도 SVM 및 Lasso와 같은 비미분 가능 문제에 직접 적용 가능하여 성능 저하를 방지한다.
• 증가하는 에포크 크기 전략이 수렴 속도를 향상시키며, 비강凸 설정에서 최적의 수렴 속도를 달성하는 데 기여한다.