[논문 리뷰] DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization

Lin Xiao, Adams Wei Yu외 2명|arXiv (Cornell University)|2017. 10. 13.

Stochastic Gradient Optimization Techniques참고 문헌 8인용 수 8

한 줄 요약

이 논문은 대규모 머신러닝에서 이종 분산 최적화를 위한 무작위화된 원본-쌍대 블록 좌표 알고리즘인 DSCOVR를 제안한다. 이중 확률적 좌표 업데이트와 분산 감소 기법을 활용한 안정점 공식화를 통해, 기존의 일阶 방법에 비해 더 빠른 수렴 속도를 달성하면서도 통신 및 동기화 비용을 줄였다. 특히 파라미터 서버 아키텍처 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Machine learning with big data often involves large optimization models. For distributed optimization over a cluster of machines, frequent communication and synchronization of all model parameters (optimization variables) can be very costly. A promising solution is to use parameter servers to store different subsets of the model parameters, and update them asynchronously at different machines using local datasets. In this paper, we focus on distributed optimization of large linear models with convex loss functions, and propose a family of randomized primal-dual block coordinate algorithms that are especially suitable for asynchronous distributed implementation with parameter servers. In particular, we work with the saddle-point formulation of such problems which allows simultaneous data and model partitioning, and exploit its structure by doubly stochastic coordinate optimization with variance reduction (DSCOVR). Compared with other first-order distributed algorithms, we show that DSCOVR may require less amount of overall computation and communication, and less or no synchronization. We discuss the implementation details of the DSCOVR algorithms, and present numerical experiments on an industrial distributed computing system.

연구 동기 및 목표

• 파라미터 서버 아키텍처에서 분산 머신러닝의 높은 통신 및 동기화 비용 문제를 해결하기 위해 효율적이고 확장 가능한 최적화 기법을 제공한다.
• 데이터 및 모델 분할을 모두 지원하면서도 동기화 오버헤드를 최소화하는 분산 최적화 프레임워크를 설계한다.
• 비동기 실행에 적합한 분산 최적화를 위한 원본-쌍대 블록 좌표 방법을 개발하며, 분산 감소 기법을 통합한다.
• 기존의 일阶 분산 알고리즘에 비해 더 빠른 수렴 속도를 달성하면서도 통신 및 계산 비용을 감소시킨다.

제안 방법

• 기계 간 데이터 및 모델 분할을 동시에 가능하게 하기 위해 분산 최적화 문제를 안정점 문제로 공식화한다.
• 변수와 제약 조건의 블록을 무작위로 선택하여 업데이트하는 이중 확률적 좌표 업데이트 방식을 도입하여 반복 계산 비용을 감소시킨다.
• 원본-쌍대 블록 좌표 프레임워크 내에서 SVRG 및 SAGA 변형과 같은 분산 감소 기법을 활용하여 수렴 속도를 가속화한다.
• 파라미터 서버 아키텍처를 활용해 비동기 구현을 설계하여, 기계들이 다른 기계의 대기 없이 로컬 모델 파라미터를 업데이트할 수 있도록 한다.
• 비동기 조건 하에서도 수렴을 보장하기 위해 쌍대 및 원본 변수 업데이트의 균형을 맞추기 위해 정규화된 증가 라그랑주 공식을 사용한다.
• 리아포노프 함수와 민코프스키 부등식을 활용해 기대값 기반 수렴 속도를 유도하며, 적절한 조건 하에서 선형 수렴을 보임을 보여준다.

실험 결과

연구 질문

• RQ1 분산 최적화에서 최소한의 동기화를 요구하면서도 분산 감소 기법을 통합한 무작위화된 원본-쌍대 블록 좌표 방법이 더 빠른 수렴을 달성할 수 있는가?
• RQ2 제안된 DSCOVR 알고리즘이 기존의 일阶 분산 방법에 비해 통신 및 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 파라미터 서버 환경에서 비동기 실행 조건 하에서 DSCOVR 알고리즘의 수렴 속도는 어떠한가?
• RQ4 분산 환경에서 이중 확률적 업데이트와 분산 감소를 사용할 경우에도 알고리즘이 수렴 보장을 유지할 수 있는가?
• RQ5 실제 분산 시스템에서 데이터 및 모델 크기가 증가함에 따라 알고리즘의 확장성은 어떻게 변화하는가?

주요 결과

• DSCOVR는 기대값 기반으로 선형 수렴 속도를 보이며, 속도는 $ \big(1 - \frac{1}{2(1+\nu)}\big)^2 $ 로 표현되며, $ \nu $ 는 근사 정확도를 제어한다.
• 알고리즘은 $ \tilde{\nu} $-정확도에 도달하기 위해 $ r \rightarrow (1+\nu)\frac{1}{2} \frac{\text{log}(\tilde{z}^{(0)} - z^*)^2 / \tilde{\nu}}{\text{log}} $ 번의 반복을 필요로 하며, 이는 오차 허용 오차에 대해 로그적 의존성을 보임을 시사한다.
• DSCOVR 내부에서 SVRG 또는 SAGA 변형을 사용함으로써 분산 감소 효과를 확보하여 더 빠르고 안정적인 수렴 진전을 이룬다.
• 특히 동기화 비용이 높은 환경에서 기존의 표준 일阶 분산 알고리즘보다 전체 계산 및 통신 비용을 줄였다.
• 산업용 분산 시스템에서 수행한 수치 실험 결과, DSCOVR가 수렴 속도와 확장성 측면에서 베이스라인 방법을 능가함을 확인하였다.
• 비동기 업데이트 조건 하에서도 알고리즘이 수렴을 유지함으로써 대규모 클러스터 환경에서 느린 작업자(스트래글러) 영향에 강건함을 입증하였다.