[논문 리뷰] Removing Data Heterogeneity Influence Enhances Network Topology Dependence of Decentralized SGD

Kun Yuan, Sulaiman A. Alghunaim외 1명|arXiv (Cornell University)|2021. 05. 17.

Distributed Control Multi-Agent Systems참고 문헌 42인용 수 11

한 줄 요약

이 논문은 데이터 이질성을 완화하여 네트워크 구조에 대한 의존도를 줄이는 분산형 SGD의 변종인 D²/Exact-diffusion을 제안한다. 데이터 불균형의 영향을 제거하고 다중 라운드 게이시 온 커뮤니케이션을 통한 기울기 누적을 통해, 강凸 문제에 대해선 $\tilde{\Omega}(1/(1-\beta)^{1/2})$ 및 일반凸 문제에 대해선 $\tilde{\Omega}(n/(1-\beta))$의 향상된 일시적 수렴 속도를 달성하며, 분산 최적화 알고리즘 중에서 가장 낮은 알려진 네트워크 구조 의존도를 보인다.

ABSTRACT

We consider the decentralized stochastic optimization problems, where a network of $n$ nodes, each owning a local cost function, cooperate to find a minimizer of the globally-averaged cost. A widely studied decentralized algorithm for this problem is decentralized SGD (D-SGD), in which each node averages only with its neighbors. D-SGD is efficient in single-iteration communication, but it is very sensitive to the network topology. For smooth objective functions, the transient stage (which measures the number of iterations the algorithm has to experience before achieving the linear speedup stage) of D-SGD is on the order of $Ω(n/(1-β)^2)$ and $Ω(n^3/(1-β)^4)$ for strongly and generally convex cost functions, respectively, where $1-β\in (0,1)$ is a topology-dependent quantity that approaches $0$ for a large and sparse network. Hence, D-SGD suffers from slow convergence for large and sparse networks. In this work, we study the non-asymptotic convergence property of the D$^2$/Exact-diffusion algorithm. By eliminating the influence of data heterogeneity between nodes, D$^2$/Exact-diffusion is shown to have an enhanced transient stage that is on the order of $ ildeΩ(n/(1-β))$ and $Ω(n^3/(1-β)^2)$ for strongly and generally convex cost functions, respectively. Moreover, when D$^2$/Exact-diffusion is implemented with gradient accumulation and multi-round gossip communications, its transient stage can be further improved to $ ildeΩ(1/(1-β)^{\frac{1}{2}})$ and $ ildeΩ(n/(1-β))$ for strongly and generally convex cost functions, respectively. These established results for D$^2$/Exact-Diffusion have the best (i.e., weakest) dependence on network topology to our knowledge compared to existing decentralized algorithms. We also conduct numerical simulations to validate our theories.

연구 동기 및 목표

• 대규모이고 희박한 네트워크에서 특히 두드러지는 분산형 SGD(D-SGD)의 네트워크 구조에 대한 민감도 문제를 해결하기 위해.
• 선형 속도 향상 이전의 일시적 단계(즉, 수렴 초기 단계)를 줄이기 위해 노드 간 데이터 이질성의 영향을 완화하기 위해.
• 나쁜 네트워크 연결성에 대한 강건성을 향상시켜 분산 최적화의 수렴 속도를 개선하기 위해.
• 다양한 네트워크 구조와 데이터 이질성 하에서 D²/Exact-diffusion의 수렴 행동을 분석하고 최적화하기 위해.
• 이론적 개선 사항을 합성 및 실세계 데이터를 활용한 수치 시뮬레이션을 통해 검증하기 위해.

제안 방법

• 지역 기울기 갱신과 전역 평균화를 분리하여 데이터 이질성 영향을 줄이는 분산형 SGD의 변종인 D²/Exact-diffusion을 제안한다.
• 커뮤니케이션 비용을 늘리지 않으면서도 정보 교환을 향상시키기 위해 기울기 누적과 다중 라운드 게이시 온 커뮤니케이션을 도입한다.
• 비-i.i.d. 데이터 분포에서 발생하는 편향을 제거하면서도 운동량 유사 행동을 유지하는 수정된 갱신 규칙을 적용한다.
• 수렴 분석을 위해 라플라스 함수 프레임워크를 사용하여 시간이 지남에 따라 평균 갱신값의 기대 오차를 추적한다.
• 네트워크 그래프의 스펙트럼 성질에 의존하는 오차 항의 감쇠를 모델링하여 일시적 단계의 경계를 유도한다.
• 정규화된 그래프 라플라시안과 고유값 $\lambda_2, \lambda_n$을 사용하여 $1-\beta$로 표현된 네트워크 연결성의 정도를 측정하며, 여기서 $\beta$는 혼합 행렬의 두 번째로 큰 고유값이다.

실험 결과

연구 질문

• RQ1 데이터 이질성이 분산형 SGD의 일시적 수렴 단계에 어떤 영향을 미치는가?
• RQ2 데이터 이질성 영향을 제거함으로써 D-SGD의 네트워크 구조에 대한 의존도를 줄일 수 있는가?
• RQ3 강凸 및 일반凸 목적함수 하에서 D²/Exact-diffusion의 이론적 일시적 수렴 속도는 무엇인가?
• RQ4 기울기 누적과 다중 라운드 게이시 온 커뮤니케이션은 D²/Exact-diffusion의 수렴 속도를 어떻게 향상시키는가?
• RQ5 어느 분산 알고리즘도 달성할 수 있는 $1-\beta$(네트워크 연결성)에 대한 최소 의존도는 얼마인가?

주요 결과

• 강凸 문제의 경우, D²/Exact-diffusion의 일시적 단계는 $\tilde{\Omega}(1/(1-\beta)^{1/2})$로, D-SGD의 $\Omega(n/(1-\beta)^2)$보다 크게 향상된다.
• 일반凸 문제의 경우, 일시적 단계는 $\tilde{\Omega}(n/(1-\beta))$로, D-SGD의 $\Omega(n^3/(1-\beta)^4)$보다 향상된다.
• 기울기 누적과 다중 라운드 게이시 온 커뮤니케이션을 적용하면, 강凸 문제에선 $\tilde{\Omega}(1/(1-\beta)^{1/2})$, 일반凸 문제에선 $\tilde{\Omega}(n/(1-\beta))$로 일시적 단계가 향상된다.
• 기존의 분산 최적화 방법 중에서 가장 우수한 $1-\beta$에 대한 의존도를 달성하여, 희박하고 연결성이 낮은 네트워크에서도 강건함을 입증한다.
• 수치 시뮬레이션을 통해 이론적 개선 사항을 검증하였으며, 희박한 네트워크 구조에서 더 빠른 수렴 속도와 낮은 오차를 보였다.
• 분석 결과, 데이터 이질성 영향을 제거하면 커뮤니케이션 비용과 수렴 속도 사이의 더 유리한 트레이드오���이 가능하다는 것이 입증되었다.