[논문 리뷰] Distributed Delayed Stochastic Optimization

Alekh Agarwal, John C. Duchi|arXiv (Cornell University)|2011. 04. 28.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 105

한 줄 요약

이 논문은 마스터-워커 아키텍처에서 지연된 확률적 기울기를 사용하는 분산 확률적 최적화 프레임워크를 제안하며, 부드러운 문제에서는 지연이 渐진적으로 무시할 만큼 작다는 것을 보여준다. 이는 비동기성에도 불구하고 $n$ 개의 노드에서 최적의 수렴 속도인 $ olimits\mathcal{O}(1/\sqrt{nT})$ 를 달성하며, 대규모 머신러닝 시스템에서의 통신 병목 현상과 동기화 제약을 극복한다.

ABSTRACT

We analyze the convergence of gradient-based optimization algorithms that base their updates on delayed stochastic gradient information. The main application of our results is to the development of gradient-based distributed optimization algorithms where a master node performs parameter updates while worker nodes compute stochastic gradients based on local information in parallel, which may give rise to delays due to asynchrony. We take motivation from statistical problems where the size of the data is so large that it cannot fit on one computer; with the advent of huge datasets in biology, astronomy, and the internet, such problems are now common. Our main contribution is to show that for smooth stochastic problems, the delays are asymptotically negligible and we can achieve order-optimal convergence results. In application to distributed optimization, we develop procedures that overcome communication bottlenecks and synchronization requirements. We show $n$-node architectures whose optimization error in stochastic problems---in spite of asynchronous delays---scales asymptotically as $\order(1 / \sqrt{nT})$ after $T$ iterations. This rate is known to be optimal for a distributed system with $n$ nodes even in the absence of delays. We additionally complement our theoretical results with numerical experiments on a statistical machine learning task.

연구 동기 및 목표

• 대규모 머신러닝을 위한 분산 확률적 최적화에서의 비동기성과 통신 지연 문제를 해결하기 위해.
• 부드러운 확률적 문제에서 기울기 업데이트의 지연이 수렴 속도를 떨어뜨리지 않는다는 것을 보여주기 위해.
• 중앙 집중식 제어 프레임워크를 개발하여 $n$ 개의 분산 노드 간에 효율적이고 확장 가능한 최적화를 가능하게 하기 위해.
• 이전의 비동기 서브기울기 방법에서 발생하는 지연 기울기로 인한 渐진적 성능 저하를 극복하기 위해.
• 통계적 머신러닝 작업에 대한 수치 실험을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 마스터가 매개변수를 유지하고 워커들로부터 온 지연된 확률적 기울기를 집계하는 마스터-워커 아키텍처를 사용한다.
• 적응형 스텝 사이즈 $\alpha(t)$ 를 사용하는 미러 내림과 이중 평균 업데이트를 적용하며, 이는 $\mathcal{O}(1/t^c)$ 의 형태로 감소한다. 여기서 $c \in (0,1]$ 이다.
• 기울기 노름의 유한성 조건 $\mathbb{E}[\|g(t)\|_*^2] \leq G^2$ 과 목적 함수의 리프시츠 연속 기울기를 가정하여 수렴성을 분석한다.
• 삼각 부등식과 정규화 함수 $\psi$ 의 강凸성 조건을 활용하여 지연으로 인한 매개변수 이탈의 범위를 유도한다.
• 횔더 부등식과 코시-슈바르츠 부등식을 적용하여 지연된 반복값과 현재 반복값 간의 기대 제곱 거리 제어를 수행한다.
• 지연이 $\tau = \mathcal{O}(n)$ 수준이어도 기대 오차가 $\mathcal{O}(1/\sqrt{nT})$ 의 속도로 감소함을 증명하며, 이는 동기 방법의 최적 수렴 속도와 일치한다.

실험 결과

연구 질문

• RQ1 분산 시스템에서 지연된 확률적 기울기는 동기 방법과 동일한 수렴 속도를 달성할 수 있는가?
• RQ2 비동기성은 부드러운 확률적 문제에서 수렴 속도에 渐진적 손해를 초래하는가?
• RQ3 중앙 집중식 제어 모델은 분산 최적화에서 통신 병목 현상을 극복할 수 있는가?
• RQ4 기울기가 비동기적으로 계산될 경우 지연 크기 $\tau$ 는 수렴에 어떤 영향을 미치는가?
• RQ5 왜 이전의 비동기 서브기울기 방법은 최적의 수렴 속도를 달성하지 못하며, 이를 어떻게 수정할 수 있는가?

주요 결과

• 부드러운 확률적 문제에서는 지연이 渐진적으로 무시할 만큼 작으며, 비동기성으로 인한 수렴 속도 저하가 발생하지 않는다.
• 제안된 알고리즘은 $\tau = \mathcal{O}(n)$ 의 지연이 존재하더라도 $n$ 개의 노드에서 최적의 $ olimits\mathcal{O}(1/\sqrt{nT})$ 수렴 속도를 달성한다.
• 이전의 비동기 서브기울기 방법에서 관찰된 $ olimits\mathcal{O}(\sqrt{\tau/T})$ 의 성능 저하를 극복한다.
• 이론적 분석을 통해 지연으로 인한 매개변수 업데이트의 기대 오차가 유계이면서 $T$ 가 증가함에 따라 감소함을 보여준다.
• 수치 실험을 통해 통계적 머신러닝 작업에서 이론적 결과가 확인되었으며, 이는 제안된 방법의 실용적 효율성을 검증한다.
• Langford 등 [LSZ09] 에서는 제약 조건 하에서 핵심 보조정리가 실패함을 밝혀내어 그 결과가 비제약 설정에 국한됨을 시사한다.