[논문 리뷰] Efficient Distributed Online Prediction and Stochastic Optimization with Approximate Distributed Mini-Batches

Konstantinos I. Tsianos, Michael Rabbat|arXiv (Cornell University)|2014. 03. 03.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 총 샘플 수 $m$ 를 고려할 때, 근사 분산 평균을 사용하여 $ olimits\mathcal{O}(\sqrt{m})$ 의 최적의 누적 손실 경계를 달성하는 게이터 방식 분산 최적화 방법을 제안한다. 이는 확률적 최적화에서 거의 선형 스케일링을 보이며, 잘 연결된 네트워크에서 각 라운드당 $ olimits\mathcal{O}(\log n)$ 번의 게이터 반복과 함께 $ olimits\mathcal{O}(\frac{1}{n \epsilon^2})$ 라운드가 필요하다.

ABSTRACT

We study distributed methods for online prediction and stochastic optimization. Our approach is iterative: in each round nodes first perform local computations and then communicate in order to aggregate information and synchronize their decision variables. Synchronization is accomplished through the use of a distributed averaging protocol. When an exact distributed averaging protocol is used, it is known that the optimal regret bound of $\mathcal{O}(\sqrt{m})$ can be achieved using the distributed mini-batch algorithm of Dekel et al. (2012), where $m$ is the total number of samples processed across the network. We focus on methods using approximate distributed averaging protocols and show that the optimal regret bound can also be achieved in this setting. In particular, we propose a gossip-based optimization method which achieves the optimal regret bound. The amount of communication required depends on the network topology through the second largest eigenvalue of the transition matrix of a random walk on the network. In the setting of stochastic optimization, the proposed gossip-based approach achieves nearly-linear scaling: the optimization error is guaranteed to be no more than $\epsilon$ after $\mathcal{O}(\frac{1}{n \epsilon^2})$ rounds, each of which involves $\mathcal{O}(\log n)$ gossip iterations, when nodes communicate over a well-connected graph. This scaling law is also observed in numerical experiments on a cluster.

연구 동기 및 목표

• 정확한 통신 프로토콜이 불가능한 상황에서 근사 통신 프로토콜을 사용할 때도 최적의 누적 손실 성능을 유지하는 분산 온라인 예측 및 확률적 최적화 방법을 개발하기 위해.
• 통신 오버헤드로 인해 정확한 평균 계산이 비현실적인 분산 시스템에서의 동기화 문제를 해결하기 위해.
• 노드 수와 목표 정확도에 대해 최적의 최적화 오차 감소 스케일링을 달성하기 위해.
• 랜덤 워크 전이 행렬의 두 번째로 큰 고유값을 통해 네트워크 토폴로지가 수렴에 미치는 영향을 분석하기 위해.
• 근사 분산 평균이 분산 미니배치 설정에서 정확한 평균과 동일한 누적 손실 및 오차 경계를 달성할 수 있는지 보여주기 위해.

제안 방법

• 정확한 평균 계산 대신 분산 미니배치 알고리즘에 통합된 근사 분산 평균을 수행하기 위해 게이터 기반 프로토콜을 사용한다.
• 각 노드가 이웃 노드로부터의 국소 평균을 사용해 결정 변수를 반복적으로 업데이트하는 분산 평균 프로토콜을 적용한다.
• 평균 프로토콜의 수렴 속도는 네트워크 그래프에서 랜덤 워크 전이 행렬의 두 번째로 큰 고유값에 따라 달라진다.
• 최적의 누적 손실 스케일링을 유지하기 위해 근사 평균 프로토콜을 분산 미니배치 프레임워크에 통합한다.
• 각 최적화 라운드는 충분한 평균 정확도를 확보하기 위해 $ olimits\mathcal{O}(\log n)$ 번의 게이터 반복을 포함한다.
• 이 방법은 잘 연결된 그래프에서 $ olimits\mathcal{O}(\frac{1}{n \epsilon^2})$ 라운드 이후 최적화 오차가 $\epsilon$ 이내로 제한됨을 보장한다.

실험 결과

연구 질문

• RQ1 분산 온라인 학습에서 정확한 평균 대신 근사 분산 평균을 사용할 경우에도 최적의 누적 손실 스케일링을 유지할 수 있는가?
• RQ2 전이 행렬의 두 번째로 큰 고유값으로 기술되는 네트워크 토폴로지가 분산 최적화 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 제안된 게이터 기반 방법이 노드 수와 목표 정확도에 대해 거의 선형 스케일링의 최적화 오차 감소를 달성하는가?
• RQ4 확률적 최적화에서 최적의 누적 손실 및 오차 경계를 유지하기 위해 각 라운드당 필요한 게이터 반복 수는 얼마인가?
• RQ5 대규모 분산 시스템에서 통신 오버헤드를 줄이면서도 정확한 평균 프로토콜과 동일한 성능을 달성할 수 있는가?

주요 결과

• 제안된 게이터 기반 방법은 정확한 평균 프로토콜과 동일한 성능을 보이며, 근사 분산 평균을 사용함에도 불구하고 최적의 누적 손실 경계 $ olimits\mathcal{O}(\sqrt{m})$ 를 달성한다.
• 노드들이 잘 연결된 그래프를 통해 통신할 경우, $ olimits\mathcal{O}(\frac{1}{n \epsilon^2})$ 라운드 이후 최적화 오차가 $\epsilon$ 이내로 보장된다.
• 각 라운드는 최적의 수렴 속도를 유지하기 위해 충분한 평균 정확도를 확보하기 위해 $ olimits\mathcal{O}(\log n)$ 번의 게이터 반복을 필요로 한다.
• 수렴 속도는 랜덤 워크 전이 행렬의 두 번째로 큰 고유값에 의해 결정되며, 이는 네트워크 토폴로지와 알고리즘 성능 간의 연결 고리를 제공한다.
• 클러스터에서 수행된 수치 실험은 실질적으로 관측된 거의 선형 스케일링 법칙을 확인한다.
• 근사 통신을 사용함에도 불구하고 최적의 누적 손실 및 오차 경계를 유지함으로써, 통신의 비정확성에 대한 강건성을 입증한다.