[논문 리뷰] MATCHA: Speeding Up Decentralized SGD via Matching Decomposition Sampling

Jianyu Wang, Anit Kumar Sahu외 3명|arXiv (Cornell University)|2019. 05. 23.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 41

한 줄 요약

MATCHA가 네트워크를 매칭으로 분해하고 이를 확률적으로 활성화하여 통신 시간을 줄이면서 수렴 속도를 유지하거나 개선하는 방식으로 decentralized SGD를 가속화합니다.

ABSTRACT

This paper studies the problem of error-runtime trade-off, typically encountered in decentralized training based on stochastic gradient descent (SGD) using a given network. While a denser (sparser) network topology results in faster (slower) error convergence in terms of iterations, it incurs more (less) communication time/delay per iteration. In this paper, we propose MATCHA, an algorithm that can achieve a win-win in this error-runtime trade-off for any arbitrary network topology. The main idea of MATCHA is to parallelize inter-node communication by decomposing the topology into matchings. To preserve fast error convergence speed, it identifies and communicates more frequently over critical links, and saves communication time by using other links less frequently. Experiments on a suite of datasets and deep neural networks validate the theoretical analyses and demonstrate that MATCHA takes up to $5 imes$ less time than vanilla decentralized SGD to reach the same training loss.

연구 동기 및 목표

• 임의의 네트워크 토폴로지 하에서의 decentralized SGD에서의 오차-실행 시간 트레이드오프를 동기 부여하고 분석한다.
• 수렴 속도를 유지하면서 통신을 줄이기 위한 매칭 분해 샘플링 방법을 제안한다.
• 이론적 수렴 보증을 제공하고 통신 예산이 성능에 미치는 영향을 정량화한다.
• 딥러닝 과제 전반에 걸친 다양한 데이터셋과 네트워크 토폴로지에서 경험적 이득을 입증한다.

제안 방법

• 기본 통신 그래프를 M개의 서로 배타적인 매칭으로 분해하여 병렬적이고 낮은 차수의 통신을 가능하게 한다.
• 각 매칭에 활성화 확률 p_j를 할당하여 반복당 평균 통신 시간을 제어하고, 제약 조건은 합계 p_j ≤ C_b M 이다.
• 예상 토폴로지의 대수적 연결성 λ2를 최대화하도록 볼록 최적화를 풀어: 예산 제약 및 0 ≤ p_j ≤ 1 하에서 λ2(∑_j p_j L_j)를 최대화한다.
• 매 반복마다 p_j에 따라 독립적으로 매칭을 샘플링하여 무작위 토폴로지 시퀀스를 생성하고, 활성 부분 그래프가 희소하거나 비연결적일 수 있다.
• 수렴 합의 스텝을 활성 라플라시안 L^(k)인 W^(k) = I − α L^(k)으로 적합한 α를 계산하여 ρ < 1을 보장하도록 적응시키며 W^(k) 은 W^(k) = I − α L^(k) 이다.
• 비정형(non-convex) 목적에 대해 비점근적 수렴 보장을 제공하고 특정 설정에서 선형 속도 증가를 보인다.

실험 결과

연구 질문

• RQ1 네트워크 토폴로지와 통신 빈도가 decentralized SGD의 오차-벽시계 시간 수렴에 어떻게 영향 미치는가?
• RQ2 다른 매칭을 예산된 확률로 활성화하는 것이 통신 비용과 수렴 속도 간의 트레이드오프를 개선할 수 있는가?
• RQ3 임의의 통신 예산에서 비-볼록 목적함수에 대해 Matcha를 사용할 때의 이론적 보장(수렴 및 속도)은 무엇인가?
• RQ4 Matcha의 이론적 주장들이 다양한 그래프 토폴로지에서 컴퓨터 비전 및 자연어 처리 작업에 걸친 경험적 이득으로 어떻게 나타나는가?

주요 결과

• Matcha가 vanilla Decentralized SGD에 비해 동일한 훈련 손실에 도달하는 데 필요한 벽시계 시간(event wall-clock time)을 최대 5.2×까지 감소시킵니다.
• 연결성에 중요한 링크를 더 활성화하고 덜 중요한 링크를 줄이는 것이 스펙트럴 노름 ρ를 유지하거나 낮춰 오차 수렴을 보존하거나 향상시킵니다.
• 주어진 기본 그래프에 대해 적절한 통신 예산으로도 기대 토폴로지의 λ2(대수적 연결성)를 동일하거나 더 좋게 유지할 수 있어 더 빠른 수렴에 도움이 됩니다.
• 비점근적 목적에 대해 적절한 학습률과 스펙트럴 특성을 갖추면 Matcha가 비볼록 최적화에서도 정지점으로 수렴한다는 비점근적 분석이 제시됩니다.
• CIFAR-10/100 및 Penn Treebank에서의 실험 결과 Matcha가 vanilla DecenSGD보다 우수하거나 다수의 토폴로지에서 주기적 DecenSGD보다 경쟁력이 있음을 보여줍니다.