[논문 리뷰] Asynchronous Accelerated Proximal Stochastic Gradient for Strongly Convex Distributed Finite Sums

Hadrien Hendrikx, Francis Bach외 1명|arXiv (Cornell University)|2019. 01. 28.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 22

한 줄 요약

이 논문은 네트워크상의 노드들 간에 분산된 강력한 볼록 유한합을 최소화하기 위한 탈중앙화되고 비동기적이며 가속화된 확률적 경사하강법인 ADFS를 제안한다. 이는 배치 방법에 비해 최적의 $O(\sqrt{m})$ 속도 향상과 함께 선형 수렴를 달성하며, 단일 머신 유한합 최적화의 최고 수준의 속도를 따라가며, 통신 오버헤드가 낮은 분산 환경에서도 효율적으로 확장된다.

ABSTRACT

In this work, we study the problem of minimizing the sum of strongly convex functions split over a network of $n$ nodes. We propose the decentralized and asynchronous algorithm ADFS to tackle the case when local functions are themselves finite sums with $m$ components. ADFS converges linearly when local functions are smooth, and matches the rates of the best known finite sum algorithms when executed on a single machine. On several machines, ADFS enjoys a $O (\sqrt{n})$ or $O(n)$ speed-up depending on the leading complexity term as long as the diameter of the network is not too big with respect to $m$. This also leads to a $\sqrt{m}$ speed-up over state-of-the-art distributed batch methods, which is the expected speed-up for finite sum algorithms. In terms of communication times and network parameters, ADFS scales as well as optimal distributed batch algorithms. As a side contribution, we give a generalized version of the accelerated proximal coordinate gradient algorithm using arbitrary sampling that we apply to a well-chosen dual problem to derive ADFS. Yet, ADFS uses primal proximal updates that only require solving one-dimensional problems for many standard machine learning applications. Finally, ADFS can be formulated for non-smooth objectives with equally good scaling properties. We illustrate the improvement of ADFS over state-of-the-art approaches with simulations.

연구 동기 및 목표

• 높은 데이터 볼륨을 가진 네트워크상의 노드들에 분산된 강력한 볼록 함수의 합을 최소화하는 데 도전하는 것.
• 비동기적, 탈중앙화적, 가속화된 업데이트를 가능하게 하여 확률적 최적화와 분산 최적화 사이의 격차를 메우는 것.
• 단일 머신 유한합 최적화 알고리즘과 비교할 만한 최적의 수렴 속도를 달성하면서도 분산 환경에서 효율적으로 확장되는 것을 목표로 하는 것.
• 중간 정도의 지름을 가진 네트워크에서도 강력한 수렴 보장을 유지하고 통신 효율성을 확보하는 방법을 제공하는 것.

제안 방법

• ADFS는 임의의 샘플링을 적용한 이중 문제에 대해 가속화된 프록시멀 좌표 경사하강 알고리즘을 사용하여 원래 문제의 업데이트를 유도한다.
• 노드들이 상호 간에만 통신하며 중앙 서버의 성능 저하 문제를 피하는 비동기적, 탈중앙화된 업데이트를 구현한다.
• 많은 표준 기계학습 문제에서 일차원 프록시멀 업데이트를 사용하여 반복당 계산 비용을 감소시킨다.
• 네트워크 및 계산 파라미터에 따라 동적으로 계산 단계와 통신 단계의 비율을 조정하여 계산과 통신의 균형을 맞춘다.
• 일반화된 가속화 프록시멀 방법의 분석을 통해 임의의 샘플링 하에서 수렴 속도를 유도하며, 스펙트럼 갭과 혼합 시간에 대한 경계를 제공한다.
• 부드럽지 않은 목표 함수에 대해서도 동일한 강력한 확장 성질을 유지하기 위해 부드럽고 부드럽지 않은 목표 함수 모두에 대해 수식을 구성한다.

실험 결과

연구 질문

• RQ1 강력한 볼록 유한합에 대해 선형 수렴를 달성하는 탈중앙화적, 비동기적, 가속화된 확률적 경사하강법을 설계할 수 있는가?
• RQ2 ADFS는 분산 환경에서 배치 방법에 비해 최적의 $O(\sqrt{m})$ 속도 향상을 달성하는가?
• RQ3 ADFS는 네트워크 지름, 통신 지연 $\tau$, 혼합 시간 $\gamma^{-1}$ 에 대해 어떻게 확장되는가?
• RQ4 비동기성과 부분 업데이트가 존재하는 환경에서도 빠른 수렴성과 낮은 통신 오버헤드를 유지할 수 있는가?
• RQ5 부드럽지 않은 목표 함수에 대해서도 유리한 수렴 및 확장 성질을 유지하면서 적용 가능한가?

주요 결과

• ADFS는 부드럽고 강력한 볼록 지역 함수에 대해 선형으로 수렴하며, 단일 머신 유한합 최적화에서 최고 수준의 기존 알고리즘 수렴 속도를 따라간다.
• 여러 대의 머신에서 ADFS는 네트워크 지름이 $m$에 비해 너무 크지 않은 조건 하에 주로 영향을 미치는 복잡도 항에 따라 $O(\sqrt{n})$ 또는 $O(n)$의 속도 향상을 달성한다.
• ADFS는 최신 기술의 분산 배치 방법에 비해 $\sqrt{m}$의 속도 향상을 제공하며, 이는 유한합 알고리즘에서 기대되는 속도 향상이다.
• 통신 시간과 네트워크 파라미터 측면에서 ADFS는 최적의 분산 배치 알고리즘과 동일한 수준의 확장성을 보인다.
• 부드럽지 않은 목표 함수에 대해서도 ADFS는 부드러운 경우와 동일한 유리한 확장 성질을 유지한다.
• 시뮬레이션 결과 ADFS는 기존 최첨단 기술 대비 수렴 속도와 확장성 면에서 뛰어난 성능을 보였다.