[논문 리뷰] A Unified Theory of SGD: Variance Reduction, Sampling, Quantization and Coordinate Descent

Eduard Gorbunov, Filip Hanzely외 1명|arXiv (Cornell University)|2019. 05. 27.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 18

한 줄 요약

이 논문은 분산 감소, 중요도 샘플링, 미니배칭, 양자화 및 좌표 강하를 포함한 다양한 확률적 경사 하강법(SGD) 변종을 분석하기 위한 통합 이론적 프레임워크를 제안한다. 반복값과 확률적 경사의 매개변수 가정을 도입함으로써, 다양한 최적화 방법에서 기존 결과를 포함하고 개선하는 단일 선형 수렴 정리를 도출한다.

ABSTRACT

In this paper we introduce a unified analysis of a large family of variants of proximal stochastic gradient descent ({ t SGD}) which so far have required different intuitions, convergence analyses, have different applications, and which have been developed separately in various communities. We show that our framework includes methods with and without the following tricks, and their combinations: variance reduction, importance sampling, mini-batch sampling, quantization, and coordinate sub-sampling. As a by-product, we obtain the first unified theory of { t SGD} and randomized coordinate descent ({ t RCD}) methods, the first unified theory of variance reduced and non-variance-reduced { t SGD} methods, and the first unified theory of quantized and non-quantized methods. A key to our approach is a parametric assumption on the iterates and stochastic gradients. In a single theorem we establish a linear convergence result under this assumption and strong-quasi convexity of the loss function. Whenever we recover an existing method as a special case, our theorem gives the best known complexity result. Our approach can be used to motivate the development of new useful methods, and offers pre-proved convergence guarantees. To illustrate the strength of our approach, we develop five new variants of { t SGD}, and through numerical experiments demonstrate some of their properties.

연구 동기 및 목표

• 이전에 별도의 이론적 다루기가 필요로 했던 다양한 SGD 변종의 분석을 통합하기 위해.
• 분산 감소 유무, 중요도 샘플링, 미니배칭, 양자화, 좌표 하향 샘플링를 포함한 방법들을 모두 수용하는 공통 이론적 프레임워크를 수립하기 위해.
• 강한 준볼록성과 반복값 및 경사의 매개변수 가정 하에 증명 가능한 선형 수렴을 보장하는 단일 수렴 정리를 제공하기 위해.
• 사전에 증명된 수렴 보장을 갖는 새로운 SGD 변종의 체계적 설계를 가능하게 하기 위해.
• SGD와 무작위 좌표 강하(RCD) 방법을 연결하는 첫 번째 통합 이론을 제공하기 위해.

제안 방법

• 다양한 SGD 변종 간의 수렴 분석을 통합하기 위해 반복값과 확률적 경사에 대한 매개변수 가정을 도입한다.
• 최적해까지의 제곱 거리, 확률적 경사의 제곱 모멘트, 그리고 Bregman 발산과 관련된 항을 포함하는 리아푸노프 함수를 활용한다.
• 리아푸노프 함수의 기대 감소를 제한하는 핵심 단일 반복 단계 재귀 부등식을 유도한다.
• 강한 준볼록성과 매개변수 가정 하에 재귀 부등식을 활용해 선형 수렴을 확립한다.
• SAGA, SVRG, 표준 SGD와 같은 기존 방법의 알려진 수렴 속도를 복원하고 개선한다.
• 프레임워크의 유용성을 입증하기 위해 다섯 가지 새로운 SGD 변종을 설계하고 수치적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 분산 감소, 중요도 샘플링, 양자화를 포함한 다양한 SGD 변종의 수렴 분석을 통합할 수 있는 단일 이론적 프레임워크를 제공할 수 있는가?
• RQ2 어떤 반복값과 경사에 대한 매개변수 가정이 이와 같은 광범위한 방법군에 걸쳐 통합된 수렴 증명을 가능하게 하는가?
• RQ3 제안된 프레임워크는 알려진 SGD 변종의 기존 복잡도 한계를 어떻게 향상시키는가?
• RQ4 이 프레임워크를 사용해 수렴 보장이 보장된 새로운 SGD 변종을 체계적으로 유도하고 분석할 수 있는가?
• RQ5 이 프레임워크는 SGD와 무작위 좌표 강하(RCD) 방법을 어느 정도 통합하는가?

주요 결과

• 제안된 프레임워크는 분산 감소, 중요도 샘플링, 미니배칭, 양자화, 좌표 강하를 포함한 다양한 SGD 변종에 적용 가능한 단일 선형 수렴 정리를 제공한다.
• 모든 복원된 특수 케이스에 대해 기존에 알려진 최고의 수렴 복잡도를 달성한다. 이는 SAGA, SVRG, 표준 SGD 포함.
• 저자들은 SGD와 RCD 방법을 통합하는 첫 번째 이론적 프레임워크를 수립하였으며, 둘 다 동일한 이론적 틀 내에서 분석 가능하다는 것을 입증한다.
• 프레임워크를 활용해 다섯 가지 새로운 SGD 변종을 설계하였으며, 이는 수렴 보장이 보장된 방법 개발의 유용성을 입증한다.
• 제안된 새로운 변종의 성질을 검증하기 위해 이론적 분석을 수반하는 수치 실험을 수행하였다.
• 핵심 기술 기여는 확률적 경사와 반복값에 대한 매개변수 가정 하에 수렴 분석의 통합을 가능하게 하는 단일 반복 단계 재귀 부등식이다.