[논문 리뷰] Distributed Stochastic Variance Reduced Gradient Methods.

Jason D. Lee, Tengyu Ma외 1명|arXiv (Cornell University)|2015. 07. 27.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 10

한 줄 요약

이 논문은 대규모 머신러닝에서 볼록 함수의 평균을 최소화하기 위해 분산 확률적 분산 감소 기울기(DSVRG) 방법을 제안한다. 통신 라운드 수를 최소화하여 최적의 통신 효율성과 런타임을 달성하며, 입증된 하한선과 일치하며, 국소 데이터 크기 대비 조건 수치가 너무 크지 않은 경우 기존 방법들을 능가한다.

ABSTRACT

We study distributed optimization algorithms for minimizing the average of convex functions. The applications include empirical risk minimization problems in statistical machine learning where the datasets are large and have to be stored on different machines. We design a distributed stochastic variance reduced gradient algorithm that, under certain conditions on the condition number, simultaneously achieves the optimal parallel runtime, amount of communication and rounds of communication among all distributed first-order methods up to constant factors. Our method and its accelerated extension also outperform existing distributed algorithms in terms of the rounds of communication as long as the condition number is not too large compared to the size of data in each machine. We also prove a lower bound for the number of rounds of communication for a broad class of distributed first-order methods including the proposed algorithms in this paper. We show that our accelerated distributed stochastic variance reduced gradient algorithm achieves this lower bound so that it uses the fewest rounds of communication among all distributed first-order algorithms.

연구 동기 및 목표

• 최적의 통신 효율성을 갖춘 분산 1차 최적화 방법을 설계하여 볼록 함수의 평균을 최소화한다.
• 분산 1차 최적화 방법 중에서 최적의 병렬 런타임, 통신 볼륨, 통신 획수를 달성한다.
• 광범위한 분산 1차 최적화 방법의 클래스에 대해 통신 효율성의 기본 한계를 분석하기 위해 하한선을 증명한다.
• 유도된 하한선에 부합하고 기존 알고리즘보다 우수한 통신 획수를 달성하는 가속화된 변형을 개발한다.

제안 방법

• 분산 데이터셋에서의 경험 위험 최소화를 위해 특화된 분산 확률적 분산 감소 기울기(DSVRG) 알고리즘을 제안한다.
• 분산 환경에서의 기울기 업데이트 안정성과 노이즈 감소를 위해 분산 감소 기법을 사용한다.
• 최적의 수렴 속도를 유지하면서도 통신 획수를 최소화할 수 있도록 알고리즘을 설계한다.
• 통신 획수에 대한 이론적 하한선을 달성하는 DSVRG의 가속화된 확장판을 도입한다.
• 조건 수가 통신 효율성과 수렴 속도에 미치는 영향을 분석한다.
• 광범위한 분산 1차 최적화 방법의 클래스에 대해 통신 획수의 하한선을 도출하기 위한 이론적 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 분산 1차 최적화 방법이 획수, 볼륨, 런타임 측면에서 최적의 통신 효율성을 달성할 수 있는가?
• RQ2 분산 1차 최적화에 대해 통신 획수의 기본 하한선은 무엇인가?
• RQ3 조건 수는 분산 최적화 알고리즘의 통신 효율성에 어떤 영향을 미치는가?
• RQ4 DSVRG의 가속화된 변형이 통신 획수에 대한 이론적 하한선을 충족할 수 있는가?
• RQ5 제안된 방법은 기존 분산 알고리즘과 비교해 통신 복잡도 측면에서 어떻게 다른가?

주요 결과

• 제안된 DSVRG 알고리즘은 상수 요소를 제외한 최적의 병렬 런타임, 통신 볼륨, 통신 획수를 달성한다.
• 가속화된 DSVRG 변형은 유도된 통신 획수 하한선을 충족하여 통신 최적화를 이룬다.
• 국소 데이터 크기 대비 조건 수치가 너무 크지 않은 경우, 기존 분산 알고리즘보다 통신 획수 측면에서 뛰어나다.
• 이 논문은 광범위한 분산 1차 최적화 방법의 클래스에 적용 가능한 통신 획수 하한선을 수립한다.
• 볼록성과 미끄러움에 대한 표준 가정 하에서 최적의 수렴 속도를 유지한다.
• 결과적으로 조건 수와 국소 데이터 크기의 균형을 맞춤으로써 통신 효율성을 극대화할 수 있음을 보여준다.