[논문 리뷰] Decentralized Federated Learning: Balancing Communication and Computing Costs

Wei Liu, Li Chen외 1명|arXiv (Cornell University)|2021. 07. 26.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 주기적으로 다수의 로컬 업데이트와 다수의 노드 간 통신을 스케줄링하여 통신 비용과 계산 비용을 균형 잡는 분산형 플러드러닝(DFL) 프레임워크를 제안한다. 볼록성 가정 없이도 강력한 수렴 보장을 확립하고, 압축된 통신(C-DFL)을 도입하여 강력한 볼록 목표 함수에서 선형 수렴을 달성하며, MNIST 및 CIFAR-10에서 통신 효율성을 크게 향상시킨다.

ABSTRACT

Decentralized stochastic gradient descent (SGD) is a driving engine for decentralized federated learning (DFL). The performance of decentralized SGD is jointly influenced by inter-node communications and local updates. In this paper, we propose a general DFL framework, which implements both multiple local updates and multiple inter-node communications periodically, to strike a balance between communication efficiency and model consensus. It can provide a general decentralized SGD analytical framework. We establish strong convergence guarantees for the proposed DFL algorithm without the assumption of convex objectives. The convergence rate of DFL can be optimized to achieve the balance of communication and computing costs under constrained resources. For improving communication efficiency of DFL, compressed communication is further introduced to the proposed DFL as a new scheme, named DFL with compressed communication (C-DFL). The proposed C-DFL exhibits linear convergence for strongly convex objectives. Experiment results based on MNIST and CIFAR-10 datasets illustrate the superiority of DFL over traditional decentralized SGD methods and show that C-DFL further enhances communication efficiency.

연구 동기 및 목표

• 제약된 자원 환경에서 분산형 플러드러닝(DFL)의 통신 효율성과 모델 일치도 간의 상충 관계를 해결하기 위해.
• 계산 비용과 통신 비용을 균형 잡기 위해 주기적으로 다수의 로컬 업데이트와 다수의 노드 간 통신을 지원하는 일반적인 DFL 프레임워크를 개발하기 위해.
• 목표 함수의 볼록성을 요구하지 않고도 DFL의 수렴 보장을 확립하여 비볼록 설정에서도 강건한 성능을 보장하기 위해.
• 압축된 통신을 DFL에 통합하여 통신 효율성을 향상시키고, 확장성 향상이 이루어진 C-DFL를 도입하기 위해.
• 기존의 분산형 SGD와 비교하여 제안된 DFL 및 C-DFL 프레임워크의 우수성을 실세계 데이터셋에서 실험적으로 검증하기 위해.

제안 방법

• 각 라운드에서 다수의 로컬 업데이트와 다수의 노드 간 통신을 번갈아 수행하는 일반적인 DFL 프레임워크를 도입하여 통신과 계산을 균형 잡는다.
• 새로운 리아파노프 함수와 재귀적 오차 경계를 사용하여 비볼록 목표 함수에 대한 이론적 수렴 분석을 유도한다.
• 무작위 스퍼스피케이션과 양자화를 통해 압축된 통신을 도입하여 DFL에서의 통신 오버헤드를 감소시킨다.
• 압축된 통신을 통합한 DFL의 변종인 C-DFL를 제안하고, 강력한 볼록 목표 함수에서의 선형 수렴을 증명한다.
• 오차 누적과 일치 오차의 체계적 분석을 통해 다양한 시스템 파라미터 하에서 수렴 속도의 상한을 구한다.
• 학습 안정성 향상과 비볼록 설정에서의 수렴 가속화를 위해 스텝 사이즈 스케줄과 모멘텀 유사 항목을 활용한다.

실험 결과

연구 질문

• RQ1 자원 제약 환경에서 분산형 플러드러닝이 통신 비용과 계산 비용을 효과적으로 균형 잡을 수 있는가?
• RQ2 비볼록 목표 함수 하에서 DFL의 수렴 행동은 어떠한가? 그리고 강력한 가정 없이도 보장될 수 있는가?
• RQ3 압축된 통신이 DFL에 효과적으로 통합되어 통신 오버헤드를 감소시키면서도 수렴 성능를 유지할 수 있는가?
• RQ4 제안된 C-DFL 프레임워크는 전통적인 분산형 SGD와 비교해 수렴 속도와 통신 효율성 측면에서 어떻게 다른가?
• RQ5 높은 성능를 달성하기 위해 DFL에서 로컬 업데이트와 노드 간 통신 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 제안된 DFL 프레임워크는 목표 함수의 볼록성을 요구하지 않아도 강력한 수렴 보장을 확보하여 실용적인 비볼록 설정에서도 강건함을 입증한다.
• DFL의 압축된 통신 변종인 C-DFL는 강력한 볼록 목표 함수에서 선형 수렴을 보이며, 이론적 효율성 향상을 입증한다.
• MNIST 및 CIFAR-10에서의 실험 결과, DFL는 전통적인 분산형 SGD보다 수렴 속도와 모델 정확도 측면에서 뛰어난 성능을 보였다.
• C-DFL는 표준 DFL 대비 통신 비용을 크게 감소시키며, 실험을 통해 수렴 품질을 훼손하지 않으면서도 통신 효율성이 향상됨을 확인했다.
• 자원 제약 하에서 로컬 업데이트 수와 노드 간 통신 횟수를 조정함으로써 프레임워크의 수렴 속도를 최적화할 수 있다.
• 이론적 분석을 통해 오차 누적과 일치 오차가 유한하게 제한되어 있음을 확인하였으며, 이는 압축률과 통신 빈도와 같은 시스템 파라미터에 명시적인 의존성을 가진다.