[논문 리뷰] Refined Convergence and Topology Learning for Decentralized SGD with Heterogeneous Data

Batiste Le Bars, Aurélien Bellet외 3명|arXiv (Cornell University)|2022. 04. 09.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 6

한 줄 요약

이 논문은 데이터 이질성 하에서 D-SGD 수렴에 영향을 미치는 핵심 요인으로 지역 이질성을 제안하며, 프랭크-울프 최적화를 통한 데이터 의존적 토폴로지 학습 방법을 제안하여 이 양상을 최소화한다. 이 방법은 편향과 혼합성을 균형 잡고, 낮은 통신 비용을 유지하면서도 희박하고 적응 가능한 토폴로지를 구성함으로써, 합성 및 실세계 실험 모두에서 랜덤 및 고정 토폴로지보다 더 빠른 수렴을 달성한다.

ABSTRACT

One of the key challenges in decentralized and federated learning is to design algorithms that efficiently deal with highly heterogeneous data distributions across agents. In this paper, we revisit the analysis of the popular Decentralized Stochastic Gradient Descent algorithm (D-SGD) under data heterogeneity. We exhibit the key role played by a new quantity, called neighborhood heterogeneity, on the convergence rate of D-SGD. By coupling the communication topology and the heterogeneity, our analysis sheds light on the poorly understood interplay between these two concepts. We then argue that neighborhood heterogeneity provides a natural criterion to learn data-dependent topologies that reduce (and can even eliminate) the otherwise detrimental effect of data heterogeneity on the convergence time of D-SGD. For the important case of classification with label skew, we formulate the problem of learning such a good topology as a tractable optimization problem that we solve with a Frank-Wolfe algorithm. As illustrated over a set of simulated and real-world experiments, our approach provides a principled way to design a sparse topology that balances the convergence speed and the per-iteration communication costs of D-SGD under data heterogeneity.

연구 동기 및 목표

• 데이터 이질성으로 인해 스펙트럼 갭 성질은 양호한데도 수렴이 악화되는 분산 SGD에서의 도전 과제를 해결하기 위해.
• 지역 이질성을 새로운 이론적 수렴 속도의 주요 요인으로 규명하고 수식화하기 위해.
• 통신 비용을 통제하기 위해 희박성으로 제약을 두면서 지역 이질성을 최소화하는 토폴로지 학습 방법을 설계하기 위해.
• 고정 또는 랜덤 토폴로지의 대안으로서 원칙적인, 데이터 의존적인 접근을 제공하기 위해.
• 학습된 토폴로지가 레이블 스케일 및 기타 이질성 패턴 하에서 수렴 속도와 일반화 성능을 향상시키는지 실증적으로 검증하기 위해.

제안 방법

• 전역 기울기와 지역 이웃 집계 기울기 간의 기대값 편차를 측정하는 새로운 지표로 지역 이질성을 도입한다.
• 도로 제약 조건 하에서 지역 이질성을 최소화하는 트랙터블 최적화 문제로 토폴로지 학습 문제를 재구성한다.
• 프랭크-울프 알고리즘을 사용하여 지역 이질성을 가장 크게 감소시키는 간선을 탐욕적으로 추가함으로써 희박한 토폴로지를 구성한다.
• 편향-분산 트레이드오프 목적 함수를 사용하며, 수렴 편향과 분산을 균형 잡기 위해 하이퍼파rameter λ를 활용한다.
• 노드 간 데이터 분포가 매우 i.i.d. 가 아닌 경우, 레이블 스케일이 있는 분류 문제에 이 방법을 적용한다.
• 학습된 토폴로지의 최대 차수 d_max를 제약하여 반복당 통신 비용을 통제한다.

실험 결과

연구 질문

• RQ1 데이터 이질성 하에서 지역 이질성은 분산 SGD의 수렴 속도에 어떤 영향을 미치는가?
• RQ2 데이터에 의존하는 통신 토폴로지를 학습시켜 데이터 이질성이 D-SGD 수렴에 악영향을 미치는 것을 줄일 수 있는가?
• RQ3 제한된 차수를 가진 희박한 토폴로지가 완전 연결 네트워크의 수렴 속도를 어느 정도 재현할 수 있는가?
• RQ4 프랭크-울프 기반의 토폴로지 학습 방법은 수렴성과 통신 비용 측면에서 랜덤 또는 고정 토폴로지와 어떻게 비교되는가?
• RQ5 하이퍼파rameter인 λ와 d_max는 학습된 토폴로지의 성능에 어떤 영향을 미치는가?

주요 결과

• d_max = 10일 때 STL-FW 토폴로지가 랜덤 d-정규 그래프 대비 지역 이질성을 최대 99% 감소시켰으며, 특히 레이블 스케일이 높을수록 유의미하다.
• d_max = 10일 때 STL-FW 토폴로지가 완전 연결 그래프와 유사한 수렴 속도를 달성하면서도 낮은 통신 비용을 유지한다.
• d_max = 10일 때 CIFAR10에서 편향이 거의 0 (0.001 ± 0.001) 으로 나타나 D-Cliques 및 랜덤 토폴로지보다 유의미하게 뛰어나다.
• 하이퍼파rameter λ는 수렴 속도에 거의 영향을 주지 않아, 조정 없이도 기본값(예: λ = 0.1)을 사용할 수 있다.
• 토폴로지의 첫 10개 간선이 성능 향상의 대부분 기여를 하며, d_max = 10을 초과하면 수익 감소 효과가 나타난다.
• STL-FW 토폴로지는 강력한 혼합 성질(낮은 1−p)을 유지하며, D-Cliques와 같은 클리크 기반 토폴로지의 열악한 혼합 성능을 피한다.