[논문 리뷰] Improved SVRG for Non-Strongly-Convex or Sum-of-Non-Convex Objectives

Zeyuan Allen-Zhu, Yuan Yang|arXiv (Cornell University)|2015. 06. 05.

Stochastic Gradient Optimization Techniques인용 수 26

한 줄 요약

이 논문은 비강한볼록 및 합의비볼록 최적화 문제에 대해 Stochastic Variance Reduced Gradient (SVRG) 방법을 향상시켜, 더 빠른 수렴 속도를 달성하면서도 가짜 정규화를 요구하지 않는 새로운 변종을 제안한다. 저자들은 더 날카운 이론적 경계를 제공하고, Lasso, 로지스틱 회귀, PCA에서 기존 방법보다 이론적·실증적으로 뛰어난 성능을 입증한다. 기준 데이터셋에서의 성능이 뛰어나다.

ABSTRACT

Many classical algorithms are found until several years later to outlive the confines in which they were conceived, and continue to be relevant in unforeseen settings. In this paper, we show that SVRG is one such method: being originally designed for strongly convex objectives, it is also very robust in non-strongly convex or sum-of-non-convex settings. More precisely, we provide new analysis to improve the state-of-the-art running times in both settings by either applying SVRG or its novel variant. Since non-strongly convex objectives include important examples such as Lasso or logistic regression, and sum-of-non-convex objectives include famous examples such as stochastic PCA and is even believed to be related to training deep neural nets, our results also imply better performances in these applications.

연구 동기 및 목표

• 표준 수렴 보장이 적용되지 않는 비강한볼凸 및 합의비볼凸 설정에서 SVRG의 한계를 해결하기 위해.
• 해결책을 왜곡하고 수렴을 비영인 오차 한계로 제한하는 인위적 정규화(예: 티호노프)의 필요성을 제거하기 위해.
• 강한볼凸 또는 매끄러움 가정 없이도 빠른 수렴을 유지하는 이론적으로 타당하고 실용적인 SVRG 변종을 개발하기 위해.
• Lasso, 로지스틱 회귀, 스토하스틱 PCA와 같은 핵심 기계학습 문제에서 향상된 성능을 보여주기 위해.

제안 방법

• 변동하는 에포크 길이를 통합한 분산 감소 기반의 경사하강법 업데이트를 수정하는 새로운 SVRG 변종을 제안한다.
• 주기적으로 기준점에서 전체 경사를 다시 계산하는 스냅샷 메커니즘을 사용하여, 확률적 경사하강법 추정치의 분산을 줄인다.
• 진전에 따라 적응적으로 조정되는 동적 에포크 길이 전략을 도입하여, 비강한볼凸 설정에서의 수렴 속도를 향상시킨다.
• 정규화를 추가하지 않고도 비강한볼凸 목표 함수에 대해 선형 수렴을 보장하는 새로운 이론적 분석 프레임워크를 제공한다.
• PCA와 같이 개별 구성 요소가 비볼凸인 경우와 같이 목표 함수의 구조를 활용하여 합의비볼凸 문제에 적용한다.
• 강한볼凸이 없음을 고려한 수정된 수렴 분석을 사용하며, 경사하강 우세성과 오차 경계 개념에 기반한다.

실험 결과

연구 질문

• RQ1 Lasso나 로지스틱 회귀와 같은 비강한볼凸 목표 함수에 대해 인위적 정규화 없이 SVRG를 효과적으로 적용할 수 있는가?
• RQ2 강한볼凸이 없는 조건에서 SVRG에 대해 어떤 이론적 수렴 보장을 확보할 수 있는가?
• RQ3 스토하스틱 PCA와 같은 합의비볼凸 목표 함수를 다룰 수 있도록 SVRG 방법을 어떻게 수정할 수 있는가?
• RQ4 비강한볼凸 설정에서 빠른 수렴을 달성하기 위해 최적의 에포크 길이와 스텝 사이즈는 무엇인가?
• RQ5 실세계 데이터셋에서 기존 방법인 SAGA, SDCA, SVRG++와 비교해 제안된 변종의 실증 성능은 어떠한가?

주요 결과

• 제안된 SVRG 변종은 정규화 없이도 비강한볼凸 목표 함수에 대해 선형 수렴을 달성하며, 기존에 알려진 최고의 수렴 속도를 유지한다.
• Ijcnn1 및 Mnist와 같은 여러 데이터셋에서 Lasso, 로지스틱 회귀, 리지 회귀 문제에서 표준 SVRG, SAGA, SDCA보다 뛰어난 성능을 보였다.
• Ijcnn1 데이터셋에서, 예측값 당 30회 이하의 경사하강 평가로 학습 손실을 최적값에 10^-11 이내로 줄였다.
• Mnist 데이터셋에서, 특히 Lasso의 경우 σ = 10^-6와 같은 희소 설정에서 SVRG++ 및 SAGA보다 더 빠른 수렴 속도를 달성했다.
• 동적 에포크 길이 전략은 특히 조건이 나쁜 또는 비강한볼凸 문제에서 성능 향상에 크게 기여했다.
• 이론적 분석을 통해, 정규화된 변종가 아니라 진짜 최소화점을 향해 반복 횟수가 증가함에 따라 수렴한다는 것이 확인되었다.