[논문 리뷰] Guaranteed Sufficient Decrease for Stochastic Variance Reduced Gradient Optimization

Fanhua Shang, Yuanyuan Liu외 4명|arXiv (Cornell University)|2018. 02. 26.

Stochastic Gradient Optimization Techniques참고 문헌 7인용 수 5

한 줄 요약

이 논문은 SVRG와 SAGA와 같은 확률적 분산 감소 경사 하강법에 대해 새로운 충분한 감소 기법을 제안하며, 동적 계수를 도입하여 단계 크기 조정을 적응적으로 가능하게 함으로써 비용 함수의 단조 감소를 보장한다. 이 기법은 수축, 확장, 또는 방향 전환을 가능하게 한다. 결과적으로 도출된 알고리즘인 SVRG-SD와 SAGA-SD는 강凸 문제에 대해 선형 수렴를 보이며, 비강凸 문제의 경우에도 수렴 보장을 제공하여 SVRG, SAGA, 심지어 가속화된 Katyusha 방법보다 수렴 속도와 런타임에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we propose a novel sufficient decrease technique for stochastic variance reduced gradient descent methods such as SVRG and SAGA. In order to make sufficient decrease for stochastic optimization, we design a new sufficient decrease criterion, which yields sufficient decrease versions of stochastic variance reduction algorithms such as SVRG-SD and SAGA-SD as a byproduct. We introduce a coefficient to scale current iterate and to satisfy the sufficient decrease property, which takes the decisions to shrink, expand or even move in the opposite direction, and then give two specific update rules of the coefficient for Lasso and ridge regression. Moreover, we analyze the convergence properties of our algorithms for strongly convex problems, which show that our algorithms attain linear convergence rates. We also provide the convergence guarantees of our algorithms for non-strongly convex problems. Our experimental results further verify that our algorithms achieve significantly better performance than their counterparts.

연구 동기 및 목표

• 높은 분산을 가지는 경사 추정치로 인해 표준 확률적 경사 하강법의 수렴 성능이 열 劣하는 문제를 해결하기 위해.
• 확률적 분산 감소 방법에서 목적 함수가 매 반복마다 단조 감소하도록 보장하는 충분한 감소 기준을 개발하기 위해.
• 최적화 과정 중 단계 크기 계수의 적응적 업데이트 규칙을 설계하여 방향과 크기를 조절할 수 있도록 하기 위해.
• 제안된 프레임워크 하에서 강凸 문제와 비강凸 문제에 대해 이론적 수렴 보장을 제공하기 위해.
• 실험적으로 새로운 알고리즘이 기존 방법보다 수렴 속도와 런타임 효율성 면에서 뛰어나다는 것을 검증하기 위해.

제안 방법

• 스토캐스틱 경사가 진정한 경사와 다를 경우에도 목적 함수가 매 반복마다 감소하도록 보장하는 새로운 충분한 감소 기준을 도입한다.
• 현재 반복값을 스케일링하기 위해 동적 계수를 통합하여, 충분한 감소 조건에 기반해 방향 조정(수축, 확장, 또는 반전)이 가능하도록 한다.
• 문제의 구조를 활용하여 라소 및 리지 회귀에 특화된 계수 업데이트 규칙을 유도한다.
• 충분한 감소 기법을 SVRG와 SAGA에 적용하여 반복 복잡도가 거의 증가하지 않는 SVRG-SD와 SAGA-SD를 도출한다.
• 충분한 감소 전략을 운동량 가속화와 조합하여 수렴 속도를 향상시킨다.
• 이론적 분석을 통해 강凸 문제에 대해 선형 수렴를 보이고, 비강凸 문제의 경우에도 수렴 보장을 확보한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 경사 추정치가 존재하는 상황에서도 목적 함수의 단조 감소를 보장할 수 있는 충분한 감소 기준을 확률적 분산 감소 방법에 적용할 수 있는가?
• RQ2 동적 계수를 어떻게 활용하여 SVRG와 SAGA에서 단계 방향과 크기를 적응적으로 제어할 수 있으며, 이로 인해 수렴 성능를 향상시킬 수 있는가?
• RQ3 제안된 SVRG-SD와 SAGA-SD 알고리즘이 강凸 문제에 대해 선형 수렴를 달성하는가?
• RQ4 충분한 감소 기법이 비강凸 문제에 대해 수렴 보장을 제공할 수 있는가? 이는 표준 SVRG와 SAGA가 수렴하지 않을 수 있는 영역이다.
• RQ5 실제로 SVRG-SD와 SAGA-SD는 수렴 속도와 런타임 면에서 최신 기술인 Katyusha와 비교해 어떻게 성능를 발휘하는가?

주요 결과

• SVRG-SD와 SAGA-SD는 강凸 복합 최소화 문제에 대해 선형 수렴율을 달성하며, 기존에 알려진 최상의 이론적 한계와 일치한다.
• 제안된 알고리즘은 비강凸 문제에 대해서도 수렴 보장을 제공한다. 이는 일반적으로 표준 SVRG 및 SAGA 변종에서 확보되지 않는 특성이다.
• 실험 결과, 다양한 데이터셋과 정규화 파rameter를 대상으로 SVRG-SD와 SAGA-SD는 효과적인 반복 횟수와 런타임 면에서 SVRG와 SAGA를 뛰어넘는 성능를 보였다.
• 작은 정규화 파rameter(예: λ₁ = 10⁻⁷)를 가진 리지 회귀의 경우, SVRG-SD와 SAGA-SD는 최신 기술인 가속화된 Katyusha보다 더 빠르게 수렴하였다.
• 충분한 감소 반복 횟수의 다양한 값에 대해도 SVRG-SD와 SAGA-SD는 안정적이고 일관된 성능 향상을 보이며 뛰어난 강인성을 입증하였다.
• Catalyst 및 기타 비가속화 방법보다도 뛰어난 성능를 발휘하였으며, 반복 복잡도가 낮아 런타임 면에서 Katyusha를 뛰어넘는 결과를 보였다.