[논문 리뷰] VR-SGD: A Simple Stochastic Variance Reduction Method for Machine Learning

Fanhua Shang, Kaiwen Zhou외 6명|arXiv (Cornell University)|2018. 02. 26.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 13

한 줄 요약

이 논문은 각 에포크의 평균값과 마지막 반복값을 두 핵심 벡터로 사용하는 새로운 확률적 분산 감소 방법인 VR-SGD를 제안한다. 이는 더 큰 학습률을 허용하고 수렴 속도를 향상시킨다. 강력한 볼록 문제에 대해 선형 수렴을 달성하며, 비강력한 볼록 케이스에 대해서도 수렴 보장을 제공한다. 이는 SVRG, Prox-SVRG 및 Katyusha와 같은 최신 기법들보다 볼록 및 비볼록 경험 위험 최소화 작업에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose a simple variant of the original SVRG, called variance reduced stochastic gradient descent (VR-SGD). Unlike the choices of snapshot and starting points in SVRG and its proximal variant, Prox-SVRG, the two vectors of VR-SGD are set to the average and last iterate of the previous epoch, respectively. The settings allow us to use much larger learning rates, and also make our convergence analysis more challenging. We also design two different update rules for smooth and non-smooth objective functions, respectively, which means that VR-SGD can tackle non-smooth and/or non-strongly convex problems directly without any reduction techniques. Moreover, we analyze the convergence properties of VR-SGD for strongly convex problems, which show that VR-SGD attains linear convergence. Different from its counterparts that have no convergence guarantees for non-strongly convex problems, we also provide the convergence guarantees of VR-SGD for this case, and empirically verify that VR-SGD with varying learning rates achieves similar performance to its momentum accelerated variant that has the optimal convergence rate $\mathcal{O}(1/T^2)$. Finally, we apply VR-SGD to solve various machine learning problems, such as convex and non-convex empirical risk minimization, and leading eigenvalue computation. Experimental results show that VR-SGD converges significantly faster than SVRG and Prox-SVRG, and usually outperforms state-of-the-art accelerated methods, e.g., Katyusha.

연구 동기 및 목표

• SVRG 및 Prox-SVRG와 같은 기존의 확률적 분산 감소 방법이 학습률 선택 및 수렴 분석 측면에서 가지는 한계를 해결하기 위해.
• 감소 기법을 요구하지 않고도 비미분 가능 및 비강력한 볼록 문제를 직접 다룰 수 있는 방법을 개발하기 위해.
• 통일된 프레임워크 내에서 강력한 볼록 및 비강력한 볼록 문제에 대한 이론적 수렴 보장을 제공하기 위해.
• 실제 머신러닝 작업에서 기존 방법들보다 더 빠른 수렴을 달성하는 실용적인 알고리즘을 설계하기 위해.

제안 방법

• VR-SGD는 각 에포크에 대해 이전 에포크의 평균값과 마지막 반복값을 두 개의 벡터로 설정하여 더 큰 학습률과 향상된 안정성을 가능하게 한다.
• 부드러운 목적함수와 비부드러운 목적함수에 대해 각각 다른 두 가지 업데이트 규칙을 사용하여, ℓ1와 같은 비미분 가능 정규화 항을 직접 처리할 수 있도록 한다.
• 완전한 기울기 값을 주기적으로 재계산하여 노이즈를 줄이는 미니배치 확률적 기울기 방법을 사용한다.
• 비강력한 볼록 문제의 경우, 다양한 학습률을 사용하여 가속화된 방법들과 동등한 최적의 O(1/T²) 수렴 속도를 달성한다.
• 초기 반복에서 기울기 계산을 줄이는 방식으로 비볼록 설정으로 확장된 VR-SGD++를 통해 효율성을 향상시켰다.
• 강력한 볼록 및 비강력한 볼록 케이스에 대해 각각 선형 수렴과 부분선형 수렴 속도를 확보하기 위해 수렴 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 각 에포크의 평균값과 마지막 반복값을 사용하여 더 큰 학습률과 더 빠른 수렴을 가능하게 하는 분산 감소 방법을 설계할 수 있는가?
• RQ2 문제 변환 또는 감소 기법 없이도 VR-SGD가 비강력한 볼록 및 비부드러운 문제에 대해 수렴 보장을 달성할 수 있는가?
• RQ3 VR-SGD는 강력한 볼록 문제에 대해 선형 수렴을 달성하는가? 그리고 수렴 속도 측면에서 가속화된 방법들과 비교해 볼 때 어떻게 성능을 내는가?
• RQ4 VR-SGD는 Katyusha 및 SAGA와 같은 최신 기법들과 비교해 볼 때 볼록 및 비볼록 경험 위험 최소화 작업에서 실제로 어떻게 성능을 내는가?

주요 결과

• VR-SGD는 로지스틱 회귀에 ℓ1, ℓ2, 그리고 엘라스틱넷 정규화를 적용한 모든 테스트 데이터셋과 문제 유형에서 SVRG 및 Prox-SVRG보다 뚜렷이 더 빠른 수렴 속도를 보였다.
• 비강력한 볼록 문제의 경우, 다양한 학습률을 사용한 VR-SGD는 Katyusha와 같은 모멘텀 가속화 방법의 최적 O(1/T²) 수렴 속도와 비교해 유사한 성능을 달성하였다.
• 시그모이드 손실을 사용한 비볼록 경험 위험 최소화 작업에서 VR-SGD는 목적함수 값과 함수의 최적성에 있어 SAGA, SVRG, SVRG++를 모두 능가하였다.
• 제안된 VR-SGD++ 버전은 초기 반복에서 기울기 계산 횟수를 줄여 효율성을 향상시켰으며, 대규모 문제에서 SVRG++를 능가하는 성능을 보였다.
• 이론적 분석을 통해 강력한 볼록 문제에 대해 선형 수렴이 확인되었고, 비강력한 볼록 케이스에 대해서도 수렴 보장을 제공함으로써, 이전 방법들 사이의 격차를 메웠다.
• 실증 결과는 PCA, 행렬 완성, 딥러닝 관련 문제를 포함한 다양한 머신러닝 작업에서 VR-SGD가 항상 최신 기법들을 능가하는 것으로 나타났다.