[논문 리뷰] RelaySum for Decentralized Deep Learning on Heterogeneous Data

Thijs Vogels, Lie He외 5명|arXiv (Cornell University)|2021. 10. 08.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 7

한 줄 요약

이 논문은 데이터 이질성과 무관하게 유한 시간 내에 모델 업데이트를 정확하고 균일하게 분배할 수 있는 분산형 확률적 경사하강법인 RelaySGD를 제안한다. 이는 스패닝 트리 기반의 메시지 중계 메커니즘인 RelaySum을 사용하여 달성된다. 기존의 점근적 수렴과 홉 수에 따른 신호 감쇠를 겪는 게시 평균화 방식과는 달리, RelaySum은 네트워크 지름에 의해 상한이 설정된 지연 시간 내에 각 워커가 모든 업데이트의 완전하고 변질되지 않은 복사본을 수신함으로써, 이질적인 데이터에서도 강건하고 확장 가능하며 정확한 학습을 가능하게 하며 이론적 수렴 보장을 제공한다.

ABSTRACT

In decentralized machine learning, workers compute model updates on their local data. Because the workers only communicate with few neighbors without central coordination, these updates propagate progressively over the network. This paradigm enables distributed training on networks without all-to-all connectivity, helping to protect data privacy as well as to reduce the communication cost of distributed training in data centers. A key challenge, primarily in decentralized deep learning, remains the handling of differences between the workers' local data distributions. To tackle this challenge, we introduce the RelaySum mechanism for information propagation in decentralized learning. RelaySum uses spanning trees to distribute information exactly uniformly across all workers with finite delays depending on the distance between nodes. In contrast, the typical gossip averaging mechanism only distributes data uniformly asymptotically while using the same communication volume per step as RelaySum. We prove that RelaySGD, based on this mechanism, is independent of data heterogeneity and scales to many workers, enabling highly accurate decentralized deep learning on heterogeneous data. Our code is available at http://github.com/epfml/relaysgd.

연구 동기 및 목표

• 기존의 게시 평균화 방식이 데이터 이질성으로 인해 느리고 편향된 수렴을 초래하는 분산 딥 러닝 환경에서의 도전 과제를 해결하기 위해.
• 유한 시간 내에 정확하고 균일하게 업데이트를 분배하는 통신 메커니즘을 설계하여 점근적 수렴과 신호 감쇠를 방지하기 위해.
• 로컬 데이터 분포의 변화에 관계없이 수렴 속도와 정확도를 유지하는 분산 학습 알고리즘을 개발하기 위해.
• 중앙 집중식 제어나 서버 의존 없이 대규모 네트워크에서 확장 가능하고, 프라이버시를 보존하며 강건한 분산 학습을 가능하게 하기 위해.

제안 방법

• RelaySum은 각 워커에서 다른 모든 워커로 모델 업데이트를 중계 노드를 통해 전달하는 스패닝 트리 기반의 경로 설정을 사용하여, 각 업데이트가 완전한 가중치로 손실 없이 전달되도록 보장한다.
• 각 노드는 재가중치 없이 트리 간선을 따라 메시지를 중계하며, 다중 소스에서 온 메시지를 합산하여 통신 비용을 일정하게 유지한다.
• 알고리즘은 분산 방식으로 스패닝 트리 프로토콜을 사용하여 임의의 네트워크 토폴로지에 적용 가능하도록 구성된다.
• RelaySGD는 RelaySum을 확률적 경사하강법에 통합하여, 각 워커가 로컬 기울기를 리레이트리에서 수신한 균일하게 분포된 전역 업데이트와 평균화한다.
• 이 방법은 스텝당 O(n)의 통신 비용(각 간선당 한 메시지)을 요구하며, 이는 게시 평균화와 동일하지만, 정확한 균일성과 유한 시간 내 수렴을 달성한다.
• 이론적 분석 결과, 수렴은 스펙트럼 갭이 아닌 네트워크 지름에 따라 결정되며, 비정규적 그래프에서의 낮은 혼합 성능에 대해서도 강건함을 입증한다.

실험 결과

연구 질문

• RQ1 데이터 이질성과 무관하게, 모든 워커 간에 정확하고 유한 시간 내에 균일한 모델 업데이트 분포를 달성할 수 있는 분산 학습 알고리즘이 존재하는가?
• RQ2 업데이트 전파가 정확하고 지연이 유한한 경우, 점근적 게시 평균화와 비교해 분산 SGD의 수렴 특성은 어떻게 변화하는가?
• RQ3 게시 평균화와 동일한 대역폭 비용을 유지하면서도 다중 홉에 따른 신호 감쇠를 제거할 수 있는 통신 메커니즘이 설계될 수 있는가?
• RQ4 특히 이론적으로는 강건한 기존 방법이 실제에서는 실패하는 상황에서, RelaySGD는 극도로 이질적인 데이터 분포에서 기존의 분산 방법을 능가하는가?
• RQ5 특히 트리 기반 구조와 일반적인 그래프 간의 네트워크 토폴로지가 분산 딥 러닝의 수렴성과 확장 가능성에 미치는 영향은 무엇인가?

주요 결과

• RelaySGD는 데이터 이질성과 무관하게 수렴하며, 목표 정확도 ε에 대해 이론적 반복 복잡도가 O(1/ε³/² + 1/ε)로 유한하게 상한이 설정된다.
• 수렴 속도는 스펙트럼 갭이 아닌 네트워크 지름 τ_max에 따라 결정되어, 연결이 불량하거나 비정규적인 토폴로지에서도 강건함을 입증한다.
• 이중 이진 트리 토폴로지에서 RelaySGD는 상수 메모리(두 개의 추가 모델 복사본)만 사용하고, 각 반복에서 단 두 개의 모델 파rameter만 송수신하여 선형 확장 가능성을 확보한다.
• VGG-11 기반 CIFAR-10 실험에서, RelaySGD는 고도로 이질적인 데이터에서 표준 게시 기반 방법과 히우리스틱 대안 모두를 능가하며, 특히 모멘텀이 없는 경우에 두드러진 성능 향상을 보였다.
• 기울기 평균화를 사용하는 RelaySGD/Grad의 경우 고정 학습률 하에서 수렴이 정체되는 경향을 보였지만, RelaySGD는 선형 수렴을 보이며 이질성에 덜 민감한 것으로 나타났다.
• 실험 결과, 극단적인 데이터 왜곡 조건에서도 RelaySGD는 높은 정확도(α=0.01일 때 CIFAR-10에서 상위-1 정확도 88.4%)를 유지하며, 베이스라인 게시 방법과 모멘텀 강화 변종을 모두 능가했다.