[논문 리뷰] D-Cliques: Compensating NonIIDness in Decentralized Federated Learning with Topology.

Aurélien Bellet, Anne-Marie Kermarrec외 1명|arXiv (Cornell University)|2021. 04. 15.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 11

한 줄 요약

D-Cliques는 비대칭 데이터 분포, 특히 국소적 클래스 불균형으로 인한 기울기 편향을 완화하기 위해 노드를 상호 연결된 클리크로 그룹화하는 탈중앙화된 피어드 학습 아키텍처를 제안한다. 국소적 공동 분포를 전역 클래스 분포와 일치시키고 탈중앙화된 SGD를 적응시킴으로써, 완전히 연결된 네트워크와 유사한 수렴 속도를 달성하면서도 1000개 노드 환경에서 간선 수를 98% 감소시키고 메시지 수를 96% 감소시킨다.

ABSTRACT

The convergence speed of machine learning models trained with Federated Learning is significantly affected by non-independent and identically distributed (non-IID) data partitions, even more so in a fully decentralized setting without a central server. In this paper, we show that the impact of local class bias, an important type of data non-IIDness, can be significantly reduced by carefully designing the underlying communication topology. We present D-Cliques, a novel topology that reduces gradient bias by grouping nodes in interconnected cliques such that the local joint distribution in a clique is representative of the global class distribution. We also show how to adapt the updates of decentralized SGD to obtain unbiased gradients and implement an effective momentum with D-Cliques. Our empirical evaluation on MNIST and CIFAR10 demonstrates that our approach provides similar convergence speed as a fully-connected topology with a significant reduction in the number of edges and messages. In a 1000-node topology, D-Cliques requires 98% less edges and 96% less total messages, with further possible gains using a small-world topology across cliques.

연구 동기 및 목표

• 비대칭 데이터가 존재하는 탈중앙화된 피어드 학습 환경에서 국소 데이터 분포가 전역 분포와 크게 다를 경우 발생하는 문제를 해결한다.
• 탈중앙화 환경에서 수렴 성능 저하의 주요 원인인 국소적 클래스 불균형으로 인한 기울기 편향을 줄인다.
• 중앙 서버에 의존하지 않고 클리크 수준에서 전역 데이터 분포의 대표성을 유지하는 통신 토폴로지 설계를 목표로 한다.
• 제안된 토폴로지를 활용해 탈중앙화된 SGD에서 편향 없는 기울기 업데이트와 효과적인 운동량을 가능하게 한다.
• 완전히 연결된 토폴로지 수준의 수렴 속도를 유지하면서도 통신 오버헤드를 최소화한다.

제안 방법

• 각 클리크가 국소적으로 대표적인 공동 데이터 분포를 가진 노드들을 포함하도록 통신 네트워크를 상호 연결된 클리크로 구조화한다.
• 클리크 내 노드 간 데이터의 유통합이 전역 클래스 분포를 근사함으로써 국소적 편향을 감소시킨다.
• 기울기 업데이트에 클리크 수준 통계를 활용하도록 탈중앙화된 SGD를 적응시켜, 비대칭 데이터 상황에서도 편향 없는 최적화를 가능하게 한다.
• 국소 및 클리크 수준 기울기 정보를 사용해 업데이트 규칙에 운동량을 통합함으로써 수렴 속도를 가속화한다.
• 클리크 간에 소월 토폴로지를 구성하여 장거리 통신 비용을 추가로 줄이면서도 연결성을 유지한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 통신 토폴로지가 국소적 클래스 불균형으로 인한 기울기 편향을 완화할 수 있는가?
• RQ2 완전히 연결된 네트워크와 비교했을 때 클리크 기반 토폴로지는 얼마나 많은 통신 오버헤드를 줄일 수 있으며, 수렴 속도는 유지할 수 있는가?
• RQ3 D-Cliques를 활용한 탈중앙화된 SGD의 적응이 비대칭 데이터 하에서 편향 없는 기울기를 얼마나 효과적으로 달성하는가?
• RQ4 클리크 간 토폴로지(예: 소월 구조)는 대규모 탈중앙화된 피어드 학습 환경에서 통신 효율성과 수렴에 어떤 영향을 미치는가?
• RQ5 D-Cliques는 간선 수와 메시지 수를 크게 줄이면서도 완전히 연결된 토폴로지 수준의 성능을 유지할 수 있는가?

주요 결과

• 1000개 노드의 탈중앙화 네트워크에서 D-Cliques는 완전히 연결된 토폴로지 대비 간선 수를 98% 감소시켰다.
• 동일한 학습 설정 하에서 전송된 메시지 수는 완전히 연결된 토폴로지 대비 96% 감소했다.
• MNIST 및 CIFAR10 데이터셋에서 D-Cliques를 사용한 모델 수렴 속도는 완전히 연결된 토폴로지와 유사했다.
• 클리크 기반 토폴로지는 클리크 내 국소 공동 분포가 전역 클래스 분포를 반영하도록 함으로써 기울기 편향을 효과적으로 감소시켰다.
• 클리크 간 소월 토폴로지를 도입함으로써 수렴 성능을 훼손하지 않으면서도 통신 효율성을 추가로 향상시켰다.