[논문 리뷰] Distributed Stochastic Variance Reduced Gradient Methods and A Lower Bound for Communication Complexity

Jason D. Lee, Qihang Lin외 2명|arXiv (Cornell University)|2015. 07. 27.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 42

한 줄 요약

이 논문은 대규모 머신러닝에서 최적의 통신 복잡도와 런타임을 달성할 수 있도록 분산 볼록 최적화를 위한 분산 확률적 분산 감소 기울기(DSVRG) 및 그 가속 버전(DASVRG)을 제안한다. 병렬 배치 기울기 계산과 효율적인 데이터 분할을 활용하여, DSVRG는 상수 요소를 제외한 라운드 수, 통신 볼륨, 런타임에서 최적 수렴을 달성하며, DASVRG는 통신 횟수에 대한 입증된 하한선을 충족시킨다.

ABSTRACT

We study distributed optimization algorithms for minimizing the average of convex functions. The applications include empirical risk minimization problems in statistical machine learning where the datasets are large and have to be stored on different machines. We design a distributed stochastic variance reduced gradient algorithm that, under certain conditions on the condition number, simultaneously achieves the optimal parallel runtime, amount of communication and rounds of communication among all distributed first-order methods up to constant factors. Our method and its accelerated extension also outperform existing distributed algorithms in terms of the rounds of communication as long as the condition number is not too large compared to the size of data in each machine. We also prove a lower bound for the number of rounds of communication for a broad class of distributed first-order methods including the proposed algorithms in this paper. We show that our accelerated distributed stochastic variance reduced gradient algorithm achieves this lower bound so that it uses the fewest rounds of communication among all distributed first-order algorithms.

연구 동기 및 목표

• m台의 머신에서 N개의 볼록 함수의 평균을 최소화하는 분산 1차 최적화 방법을 설계하여 통신과 런타임을 최적화한다.
• 대규모 머신러닝에서 높은 통신 비용 문제를 해결하기 위해 통신 횟수를 최소화하면서도 빠른 수렴을 유지한다.
• 분산 1차 최적화 방법에 대한 통신 횟수에 대한 이론적 하한선을 수립하고, DASVRG가 이 하한선을 달성함을 보여준다.
• SVRG 알고리즘을 효율적인 데이터 할당과 편향 없는 기울기 추정을 갖는 분산 환경으로 확장한다.
• 실제 데이터셋에서 DSVRG와 DASVRG가 기존 방법보다 통신 효율성과 런타임 면에서 뛰어나다는 것을 경험적으로 검증한다.

제안 방법

• DSVRG 알고리즘은 m대의 머신에서 병렬로 배치 기울기를 계산하고, 공유된 데이터 포인트로부터 구성된 분산 감소 기울기를 사용해 순차적 업데이트를 수행한다.
• 효율적인 데이터 할당 방식은 N개의 함수를 m대의 머신에 분할 저장하며, 각 머신은 C개의 함수를 보유하며, 이 중 n개의 주요 데이터 포인트와 추가로 약 n개의 공유 함수를 포함하여 편향 없는 기울기 추정을 가능하게 한다.
• 알고리즘은 단계 크기 η = 1/L를 사용하고, 기울기 분산을 줄이기 위해 제어 변수를 사용하여 최적 수렴 속도를 확보한다.
• DASVRG는 네스테로프 스타일의 모멘터미를 도입하고 이중 레벨 업데이트 전략을 사용하여 통신 획수를 감소시킨 가속 버전이다.
• 분산 1차 최적화 방법의 광범위한 클래스에 대해 통신 획수에 대한 이론적 하한선을 유도한다.
• 알고리즘은 평균 함수의 L-리프시츠 연속성과 μ-강볼록성, 조건수 κ = L/μ를 가정하며, 각 머신의 충분한 메모리(조건 C > n)가 필요하다.

실험 결과

연구 질문

• RQ1 분산 1차 최적화 방법이 병렬 런타임, 총 통신 볼륨, 통신 횟수 측면에서 최적 수렴을 달성할 수 있는가?
• RQ2 제안된 DSVRG 알고리즘이 제한된 머신당 메모리 조건에서 분산 환경에서도 분산 감소의 이점을 유지하는가?
• RQ3 DSVRG의 가속 버전이 기존 방법보다 통신 횟수를 줄일 수 있는가?
• RQ4 분산 1차 최적화 방법에 대해 통신 횟수에 대한 이론적 하한선이 존재하는가, 그리고 알고리즘이 이 하한선을 달성할 수 있는가?
• RQ5 DSVRG와 DASVRG의 성능은 다양한 데이터셋과 조건수에서 DisDCA 및 가속 기울기 방법과 비교해 어떻게 되는가?

주요 결과

• 합리적인 가정 하에 DSVRG는 상수 요소를 제외한 모든 분산 1차 최적화 방법 중에서 병렬 런타임, 총 통신 볼륨, 통신 횟수 측면에서 최적 수렴을 달성한다.
• DASVRG는 최신으로 도출된 통신 획수 하한선을 정확히 충족하여, 가장 통신 효율적인 분산 1차 최적화 방법이 된다.
• Million Song 및 Covtype 데이터셋에서 DSVRG와 DASVRG는 DisDCA 및 가속 기울기 방법보다 통신 효율성이 뛰어나고, 런타임 면에서도 유사하거나 우수한 성능을 기록한다.
• λ가 감소함에 따라(조건수 증가) 모든 알고리즘이 성능이 저하되나, DSVRG와 DASVRG는 모든 설정에서 통신 획수 측면에서 뛰어난 성능 유지를 보인다.
• m = 5, 10, 15일 때 DSVRG와 DASVRG는 DisDCA 및 가속 기울기 방법보다 항상 더 적은 통신 획수를 요구하며, 조건수가 증가할수록 그 격차가 더 벌어진다.
• 경험적 결과는 DSVRG와 DASVRG가 다양한 데이터 분포와 조건수에서 견고하며, DASVRG는 통신 효율성 면에서 약간의 우위를 보인다.