[논문 리뷰] Variance Reduced Stochastic Gradient Descent with Neighbors

Thomas Hofmann, Aurélien Lucchi외 2명|arXiv (Cornell University)|2015. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 19

한 줄 요약

이 논문은 훈련 데이터의 이웃 구조를 활용하여 과거의 확률적 경사하강법 기울기를 공유하고 재사용함으로써 초기 최적화 단계에서 더 빠른 수렴을 가능하게 하는 분산 감소 확률적 경사하강법인 $ε\mathcal{N}$-SAGA를 제안한다. 보편적인 스텝 사이즈 선택을 통해 기하급수적 수렴 속도를 달성하며, 특히 소수의 에포크에서 SAGA 및 $q$-SAGA보다 일관된 속도 향상을 보인다.

ABSTRACT

Stochastic Gradient Descent (SGD) is a workhorse in machine learning, yet its slow convergence can be a computational bottleneck. Variance reduction techniques such as SAG, SVRG and SAGA have been proposed to overcome this weakness, achieving linear convergence. However, these methods are either based on computations of full gradients at pivot points, or on keeping per data point corrections in memory. Therefore speed-ups relative to SGD may need a minimal number of epochs in order to materialize. This paper investigates algorithms that can exploit neighborhood structure in the training data to share and re-use information about past stochastic gradients across data points, which offers advantages in the transient optimization phase. As a side-product we provide a unified convergence analysis for a family of variance reduction algorithms, which we call memorization algorithms. We provide experimental results supporting our theory.

연구 동기 및 목표

• 표준 SGD의 초기 최적화 단계에서의 느린 수렴 문제를 데이터 유사성의 특성을 활용하여 해결하기 위해.
• SAGA와 SVRG를 포함한 분산 감소 알고리즘에 대해 '기억 알고리즘' 프레임워크 내에서 통합된 수렴 분석을 개발하기 위해.
• 과거의 확률적 기울기에서 유도된 분산 보정 항의 신선도와 편향 사이의 트레이드오프를 조사하기 위해.
• 근사 보정을 이웃 데이터 포인트를 사용하여 계산하는 새로운 알고리즘인 $\epsilon\mathcal{N}$-SAGA를 제안하고 평가하기 위해.
• 근사적, 이웃 기반 보정이 소수의 에포크 동안 초기 학습에서 상당한 속도 향상을 가져올 수 있음을 경험적으로 입증하기 위해.

제안 방법

• 각 데이터 포인트가 과거 기울기를 기억하는 '기억 알고리즘'이라고 불리는 알고리즘의 가족을 제안하며, 이는 SAGA와 SVRG를 일반화한다.
• $\epsilon\mathcal{N}$-SAGA를 도입하여, 개별 과거 기울기에서가 아니라 이웃 데이터 포인트의 기울기 가중 평균에서 분산 보정 항을 계산한다.
• 훈련 데이터에 대해 이웃 구조를 정의하여 유사한 데이터 포인트를 식별함으로써, 기울기 정보를 포인트 간에 공유하고 과거 기울기를 근사화할 수 있도록 한다.
• 스텝 사이즈 $\gamma < \frac{1}{4L}$를 사용하며, 강凸성 매개변수 $\mu$에 독립적인 보편적인 선택을 통해 기하급수적 수렴을 보장한다.
• SAGA, SVRG, $q$-SAGA를 포함한 모든 기억 알고리즘에 적용 가능한 통합된 수렴 분석 프레임워크를 활용한다.
• 업데이트 단계와 기울기 평가 수에 따른 부적합도 지표를 사용하여 $\epsilon\mathcal{N}$-SAGA, SAGA, $q$-SAGA, SGD 간의 실험을 수행한다.

실험 결과

연구 질문

• RQ1 훈련 데이터의 이웃 구조를 활용하면 분산 감소 확률적 경사하강법의 초기 최적화 단계에서 수렴 속도를 향상시킬 수 있는가?
• RQ2 근사적, 이웃 기반 기울기 보정을 사용할 경우 보정의 신선도와 편향 사이의 트레이드오프는 어떠한가?
• RQ3 모든 $\mu$ 값에 대해 기하급수적 수렴을 보장하는 보편적인 스텝 사이즈를 유도할 수 있는가? 이는 SVRG의 $\mu$-적응 수렴을 포함한다.
• RQ4 $\epsilon\mathcal{N}$-SAGA가 SAGA 및 $q$-SAGA에 비해 소수의 에포크 동안 수렴 속도와 부적합도 측면에서 어떻게 비교되는가?
• RQ5 이웃 포인트를 기반으로 한 근사 분산 보정이 계산 오버헤드를 줄이면서도 수렴 보장을 유지할 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 $\epsilon\mathcal{N}$-SAGA 알고리즘은 특히 2~10 에포크 동안 SAGA 및 $q$-SAGA보다 일관된 속도 향상을 보였다.
• 스텝 사이즈 $\gamma = \frac{q}{\mu n}$를 사용할 경우, $\epsilon\mathcal{N}$-SAGA는 SAGA와 $q$-SAGA 사이의 수렴 성능를 거의 정확히 따라가며 기울기의 신선도를 효과적으로 활용하고 있음을 나타낸다.
• 알고리즘은 $\epsilon$에 의해 결정되는 지점에서 부적합도가 수렴하는 경향을 보이며, 이는 SAGA와 달리 점근적 수렴에서 0이 아닌 부적합도를 보임을 의미한다.
• SAGA가 $\epsilon\mathcal{N}$-SAGA를 앞서는 교차점은 일반적으로 5~15 에포크 이후에 발생하므로, $\epsilon\mathcal{N}$-SAGA는 초기 단계 학습에서 가장 유익한 것으로 나타났다.
• 이론적 분석은 기억 알고리즘 가족의 모든 방법(예: $\mu$-적응 수렴을 포함한 SVRG 포함)에 대해 기하급수적 수렴을 보장하는 보편적인 스텝 사이즈 $\gamma < \frac{1}{4L}$를 제공한다.
• 경험 결과는 이웃 데이터 포인트를 기반으로 한 근사 분산 보정이 초기 반복 단계에서 부적합도를 상당히 감소시킬 수 있음을 확인하며, 계산량과 해의 정확도 사이의 트레이드오프가 타당함을 검증한다.