[논문 리뷰] An Accelerated Decentralized Stochastic Proximal Algorithm for Finite Sums

Hadrien Hendrikx, Francis Bach외 1명|arXiv (Cornell University)|2019. 05. 27.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 16

한 줄 요약

이 논문은 유한합 최적화를 위한 가속화된 분산형 확률적 프락시멀 알고리즘인 ADFS를 제안한다. 이 알고리즘은 노드 간의 무작위 쌍별 통신과 국소적 확률적 업데이트를 결합하여, 단일 머신에서 최적의 중심집중형 알고리즘과 동일한 수렴 속도를 달성하면서도 $ n $ 대의 머신으로도 효율적으로 확장된다. 이는 단일 머신 방법이 $ m $개의 샘플을 처리하는 데 걸리는 시간 동안 $ nm $개의 샘플을 학습할 수 있으며, 통신 지연과 네트워크 구조에 기반한 임계 네트워크 크기에 도달하기 이르기까지 유효하다.

ABSTRACT

Modern large-scale finite-sum optimization relies on two key aspects: distribution and stochastic updates. For smooth and strongly convex problems, existing decentralized algorithms are slower than modern accelerated variance-reduced stochastic algorithms when run on a single machine, and are therefore not efficient. Centralized algorithms are fast, but their scaling is limited by global aggregation steps that result in communication bottlenecks. In this work, we propose an efficient extbf{A}ccelerated extbf{D}ecentralized stochastic algorithm for extbf{F}inite extbf{S}ums named ADFS, which uses local stochastic proximal updates and randomized pairwise communications between nodes. On $n$ machines, ADFS learns from $nm$ samples in the same time it takes optimal algorithms to learn from $m$ samples on one machine. This scaling holds until a critical network size is reached, which depends on communication delays, on the number of samples $m$, and on the network topology. We provide a theoretical analysis based on a novel augmented graph approach combined with a precise evaluation of synchronization times and an extension of the accelerated proximal coordinate gradient algorithm to arbitrary sampling. We illustrate the improvement of ADFS over state-of-the-art decentralized approaches with experiments.

연구 동기 및 목표

• 기존의 분산형 알고리즘이 단일 머신에서 중심집중형 가속화 방법보다 느리다는 비효율성을 해결하기 위해.
• 분산 환경에서 확장 가능하고 빠른 수렴을 가능하게 하여 분산형 최적화와 확률적 최적화 간 격차를 메우기 위해.
• 최적의 중심집중형 알고리즘과 동일한 수렴 속도를 달성하면서도 전역 집계로 인한 통신 병목 현상을 피할 수 있는 분산형 알고리즘을 설계하기 위해.
• 통신 지연과 다양한 네트워크 구조를 포함한 현실적인 네트워크 조건 하에서 알고리즘 성능을 분석하기 위해.
• 고지연 환경에서 중심집중형 방법보다 분산형 방법이 우월할 수 있음을 보여주기 위해.

제안 방법

• 각 노드에서 국소적 확률적 프락시멀 업데이트를 사용하여, 유한합 구조를 활용해 반복 계산 비용을 줄인다.
• 전역 집계 병목 현상을 피하기 위해 인접한 노드 간의 무작위 쌍별 통신을 통해 정보를 동기화한다.
• 임의의 샘플링을 적용한 가속화된 프락시멀 좌표 그래디언트 방법을 통합하여, 이의 적용 가능 범위를 분산형 환경으로 확장한다.
• 이론적 분석에서 통신 및 동기화 지연을 정확히 모델링하기 위해 새로운 증강 그래프 기법을 도입한다.
• 네트워크 지연을 고려해 동기화 시간을 명시적으로 평가하여 보다 날카운 수렴 한계를 도출한다.
• 알고리즘 분석은 $ \rho_s $ (확률적 조건수)와 $ \rho_b $ (배치 조건수)를 포함한 조건수 프레임워크에 기반하며, $ \gamma $ 는 네트워크 그래프의 라플라시안 조건수를 나타낸다.

실험 결과

연구 질문

• RQ1 전역 통신 병목 현상을 피하면서도 최적의 중심집중형 확률적 알고리즘과 동일한 수렴 속도를 달성할 수 있는 분산형 알고리즘이 존재하는가?
• RQ2 분산형 확률적 알고리즘의 성능은 네트워크 크기와 통신 지연에 따라 어떻게 변화하는가?
• RQ3 네트워크 구조와 통신 지연은 분산형 유한합 최적화의 수렴에 어떤 영향을 미치는가?
• RQ4 쌍별 통신을 통한 국소적 확률적 업데이트가 고지연 환경에서 중심집중형 방법보다 우월한가?
• RQ5 어떤 이론적 프레임워크가 분산형 알고리즘에서 동기화 및 통신 지연을 정밀하게 분석할 수 있게 하는가?

주요 결과

• ADFS는 $ m + \sqrt{m\kappa_s} + (1+\tau)\sqrt{\frac{\kappa_s}{\gamma}} $ 의 수렴 시간을 달성하며, 이는 단일 머신 최적 알고리즘이 $ m $개의 샘플을 처리하는 데 걸리는 시간과 동일하다.
• $ n $대의 머신에서 ADFS는 단일 머신에서 최적 알고리즘이 $ m $개의 샘플을 학습하는 데 걸리는 시간 동안 $ nm $개의 샘플을 학습하며, 선형 확장 효율성을 입증한다.
• 특히 통신 지연이 높은 경우($ \tau = 50 $)에서 최신의 분산형 방법인 MSDA와 DSBA보다 뛰어난 성능을 보인다.
• 고지연 환경에서는 ADFS가 대규모 통신 오버헤드를 피하고 작은 효과적 배치 크기를 유지할 수 있어 중심집중형 Katyusha를 능가한다.
• 증강 그래프 모델과 정밀한 동기화 시간 평가에 기반한 이론적 분석은 네트워크 지연과 구조를 고려한 날카운 수렴 한계를 제공한다.
• Higgs 및 Covtype 데이터셋에 대한 실험 결과는 ADFS가 고지연 환경에서의 우월성을 확인하였으며, 다양한 네트워크 크기와 지연 조건에서도 안정적인 성능을 보였다.