[논문 리뷰] On Variance Reduction in Stochastic Gradient Descent and its Asynchronous Variants

Sashank J. Reddi, Ahmed Hefny외 3명|arXiv (Cornell University)|2015. 06. 23.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 111

한 줄 요약

이 논문은 분산 기반 확률적 경사 하강법(SGD) 알고리즘을 위한 통합 프레임워크를 제안하며, 희소 기계 학습 환경에서 거의 선형적 속도 향상을 달성하는 비반복적 비율 감소 기반 이방식 알고리즘의 개발을 가능하게 한다. 이는 증명 가능하게 선형 수렴를 보이는 비반복적 비율 감소 기반 이방식 알고리즘을 도입하여 실무에서 표준 SGD와 비반복적 비율 감소 기반 이방식 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We study optimization algorithms based on variance reduction for stochastic gradient descent (SGD). Remarkable recent progress has been made in this direction through development of algorithms like SAG, SVRG, SAGA. These algorithms have been shown to outperform SGD, both theoretically and empirically. However, asynchronous versions of these algorithms---a crucial requirement for modern large-scale applications---have not been studied. We bridge this gap by presenting a unifying framework for many variance reduction techniques. Subsequently, we propose an asynchronous algorithm grounded in our framework, and prove its fast convergence. An important consequence of our general approach is that it yields asynchronous versions of variance reduction algorithms such as SVRG and SAGA as a byproduct. Our method achieves near linear speedup in sparse settings common to machine learning. We demonstrate the empirical performance of our method through a concrete realization of asynchronous SVRG.

연구 동기 및 목표

• 대규모 기계 학습에서 이방식 비반복적 비율 감소 SGD의 이론적 수렴 보장 부족 문제를 해결하기 위해.
• SAG, SVRG, SAGA와 같은 기존 비반복적 비율 감소 기법들을 하나의 공식적 프레임워크 아래 통합하기 위해.
• 빠른 수렴를 유지하는 이 프레임워크 기반의 이방식 병렬 알고리즘을 개발하기 위해.
• 이론적 거의 선형 속도 향상 예측에 부합하는 희소 데이터 환경에서의 경험적 속도 향상을 입증하기 위해.
• 비반복적 비율 감소 기법의 적용 범위를 현대의 분산 및 이방식 컴퓨팅 환경으로 확장하기 위해.

제안 방법

• 저자는 각 성분 함수 f_i에 대해 보조 변수 α_i^t를 유지하는 일반적인 알고리즘 프레임워크를 제안하며, 구조화된 경사 하강 업데이트를 통해 비반복적 비율 감소를 달성한다.
• 프레임워크는 보조 변수의 업데이트 방식을 결정하는 ScheduleUpdate 서브루틴을 포함하며, 이는 SVRG 및 SAGA와 같은 기존 방법의 구현을 가능하게 한다.
• 이 프레임워크에서 유도된 이방식 변종인 Hsag는 지연된 경사 하강값과 잠금 없는 업데이트를 사용하여 병렬 실행을 가능하게 한다.
• 알고리즘은 단계 크기 η, 모멘타움 파라미터 β, 정규화 파라미터 c를 사용하며, 선형 수렴를 보장하기 위해 파라미터가 조정된다.
• 수렴 분석은 Bregman 산란도 및 분산 분해를 이용해 경사 하강 추정치의 기대 제곱 노름을 경계하는 데 기반한다.
• 강한 볼록성과 리프시츠 연속 경사 하강 조건을 가정할 때 이론적 보장이 도출되며, 기대값 기반 선형 수렴가를 보인다.

실험 결과

연구 질문

• RQ1 SAG, SVRG, SAGA와 같은 비반복적 비율 감소 SGD 방법들을 체계적으로 기술하고 분석할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ2 비반복적 비율 감소 기반의 이방식 변종이 증명 가능하게 선형 수렴를 보일 수 있는가?
• RQ3 이러한 이방식 알고리즘은 희소 기계 학습 환경에서 거의 선형적 속도 향상을 달성하는가?
• RQ4 제안된 이방식 비반복적 비율 감소 방법의 성능는 비반복적 비율 감소 기반 이방식 SGD보다 어떻게 다른가?
• RQ5 동기 및 이방식 환경 모두에서 빠른 수렴를 보장하는 파라미터 설정은 무엇인가?

주요 결과

• 제안된 Hsag 알고리즘은 이방식 업데이트 하에 부드럽고 강한 볼록성 있는 유한합 문제에서 선형 수렴를 달성한다.
• 조건 수가 높은 영역(L/λ = n)에서는 ε-정확도를 O(n log(1/ε))의 총 계산 복잡도로 달성하며, 배치 경사 하강법의 이론적 하한선과 일치하지만 실무 성능가가 더 뛰어나다.
• 희소 데이터 환경에서는 이론 예측에 부합해 프로세서 수에 대해 거의 선형적 속도 향상을 달성한다.
• 경험적 결과는 비반복적 비율 감소 기반 이방식 SGD보다 뚜렷한 속도 향상을 보이며, 병렬 환경에서 비반복적 비율 감소의 이론적 우수성을 확인한다.
• 프레임워크는 SVRG 및 SAGA의 이방식 변종을 특수 케이스로 자연스럽게 도출하며, 그 일반성과 확장 가능성을 입증한다.
• 보다 정교한 분석을 통해 SVRG 및 SAGA의 사례에서 더 날카로운 수렴 상수를 유도할 수 있으며, 향후 최적화의 여지가 있음을 시사한다.