[논문 리뷰] Robust Asynchronous Stochastic Gradient-Push: Asymptotically Optimal and Network-Independent Performance for Strongly Convex Functions

Alex Olshevsky, Ioannis Ch. Paschalidis외 1명|arXiv (Cornell University)|2018. 11. 09.

Stochastic Gradient Optimization Techniques참고 문헌 67인용 수 33

한 줄 요약

이 논문은 지연, 손실, 방향성 통신이 있는 열악한 네트워크 조건 하에서 분산 최적화를 위한 강건한 비동기적 확률적 그래디언트-푸시 방법을 제안한다. 각 노드는 국소 함수의 노이즈 있는 그래디언트를 계산한다. 이는 강력한 볼록 함수이면서 그래디언트가 리프시츠 연속인 경우, 중심화된 그래디언트 강하의 최적 성능으로 점차 수렴함을 증명한다. 네트워크에 의존하지 않는 최적 수렴 속도를 달성한다.

ABSTRACT

We consider the standard model of distributed optimization of a sum of functions $F(\bz) = \sum_{i=1}^n f_i(\bz)$, where node $i$ in a network holds the function $f_i(\bz)$. We allow for a harsh network model characterized by asynchronous updates, message delays, unpredictable message losses, and directed communication among nodes. In this setting, we analyze a modification of the Gradient-Push method for distributed optimization, assuming that \begin{enumerate*}[label=( oman*)] \item node $i$ is capable of generating gradients of its function $f_i(\bz)$ corrupted by zero-mean bounded-support additive noise at each step, \item $F(\bz)$ is strongly convex, and \item each $f_i(\bz)$ has Lipschitz gradients. We show that our proposed method asymptotically performs as well as the best bounds on centralized gradient descent that takes steps in the direction of the sum of the noisy gradients of all the functions $f_1(\bz), \ldots, f_n(\bz)$ at each step.

연구 동기 및 목표

• 메시지 지연, 손실, 방향성 통신이 있는 비신뢰성 있고 비동기적인 네트워크에서의 분산 최적화 과제를 해결하기 위해.
• 노이즈 있는 그래디언트와 네트워크의 예측 불가능성에도 불구하고 최적 수렴 성능을 유지하는 분산 최적화 알고리즘을 설계하기 위해.
• 동일한 노이즈 및 함수 가정 하에 중심화된 그래디언트 강하의 성능과 점차적으로 일치하는 수렴 성능을 달성하기 위해.
• 강한 비동기성 조건 하에서도 네트워크 구조나 통신 동역학에 영향을 받지 않는 알고리즘 성능을 확보하기 위해.

제안 방법

• 방향성 네트워크에서 비동기 업데이트와 신뢰할 수 없는 통신을 처리하기 위해 그래디언트-푸시 방법을 적응시켰다.
• 각 노드가 평균이 0이고 지지역이 유한한 노이즈에 의해 오염된 국소 함수 $f_i(\bz)$의 그래디언트를 생성하는 확률적 그래디언트 계산을 도입했다.
• 지연되거나 손실된 메시지가 있을 경우에도 가중 평균을 사용해 네트워크 전역에서 그래디언트를 집계하는 공감 기반 업데이트 규칙을 유지했다.
• 노이즈 있는 그래디언트 추정에도 수렴을 보장하기 위해 점차 감소하는 스텝 사이즈를 사용했다.
• 네트워크에 의존하지 않는 수렴 분석 프레임워크를 활용해 점근적 최적성을 증명했다.
• 수렴 한계를 설정하기 위해 전역 목표 함수 $F(\bz)$의 강력한 볼록성과 각 $f_i(\bz)$의 그래디언트의 리프시츠 연속성을 기반으로 하였다.

실험 결과

연구 질문

• RQ1 노이즈가 있으며 비동기적이고 신뢰할 수 없는 네트워크 조건 하에서 분산 최적화 알고리즘이 중심화된 그래디언트 강하와 동일한 점차적 수렴 속도를 달성할 수 있는가?
• RQ2 메시지 지연과 손실과 같은 네트워크 동역학에 따라 제안된 방법의 성능은 어떻게 스케일링되는가?
• RQ3 알고리즘의 수렴 속도가 기초 네트워크 구조나 통신 패턴에 영향을 받는가?
• RQ4 비동기성 상황에서 최적 수렴을 보장하기 위해 국소 함수와 노이즈 분포에 대해 어떤 조건이 충분한가?

주요 결과

• 제안된 알고리즘은 모든 노이즈 있는 그래디언트의 합을 사용하여 중심화된 그래디언트 강하와 동일한 수렴 속도를 점차적으로 달성한다.
• 수렴 속도는 최적이며, 임의의 메시지 지연과 손실 조건 하에서도 네트워크 구조와 독립적이다.
• 동기화나 신뢰할 수 있는 메시지 전달이 필요 없이도 비동기 업데이트와 방향성 통신 조건 하에서도 수렴을 유지한다.
• 분석을 통해 알고리즘의 성능이 중심화된 확률적 그래디언트 강하의 동일한 이론적 한계로 제한됨을 입증하였다.
• 강력한 볼록성의 $F(\bz)$와 각 $f_i(\bz)$의 그래디언트의 리프시츠 연속성 가정 하에 수렴이 보장된다.