[논문 리뷰] Efficient and Less Centralized Federated Learning

Li Der Chou, Zichang Liu외 2명|arXiv (Cornell University)|2021. 06. 11.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 4

한 줄 요약

이 논문은 중앙 집중식 서버의 역할을 최소화하면서 로컬 장치 네트워크 내에서 피어 투 피어(P2P) 모델 집계를 허용함으로써 통신 병목 현상을 줄이는 탈중앙화된 피어드 페더레이티드 러닝 프레임워크인 FedP2P를 제안한다. 네트워크 토폴로지를 활용해 효율적인 로컬 통신을 구현함으로써, 동일한 학습 조건에서 중앙 집중식 FedAvg보다 통신 효율성이 10배 향상되고 정확도가 최대 8% 높아진다.

ABSTRACT

With the rapid growth in mobile computing, massive amounts of data and computing resources are now located at the edge. To this end, Federated learning (FL) is becoming a widely adopted distributed machine learning (ML) paradigm, which aims to harness this expanding skewed data locally in order to develop rich and informative models. In centralized FL, a collection of devices collaboratively solve a ML task under the coordination of a central server. However, existing FL frameworks make an over-simplistic assumption about network connectivity and ignore the communication bandwidth of the different links in the network. In this paper, we present and study a novel FL algorithm, in which devices mostly collaborate with other devices in a pairwise manner. Our nonparametric approach is able to exploit network topology to reduce communication bottlenecks. We evaluate our approach on various FL benchmarks and demonstrate that our method achieves 10X better communication efficiency and around 8% increase in accuracy compared to the centralized approach.

연구 동기 및 목표

• 단일 중앙 서버에 대한 과도한 의존성으로 인한 중앙 집중식 피어드 페더레이티드 러닝의 통신 비효율성 문제를 해결하기 위해.
• 장치 간 로컬 P2P 모델 집계를 통해 중앙 서버의 통신 부담을 줄이기 위해.
• 변동성이 크고 장애가 자주 발생하는 이종적이고 동적인 엣지 네트워크에서 확장성과 내구성을 향상시키기 위해.
• 네트워크 토폴로지를 활용해 모델 동기화 시 통신 홉 수와 지연을 최소화하기 위해.
• 탈중앙화된 P2P 통신이 기존의 클라이언트-서버 기반 FL보다 효율성과 정확도 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 유리한 네트워크 토폴로지(예: 근접성 또는 저지연 링크)를 기반으로 장치들이 무작위로 로컬 P2P 네트워크로 분할된다.
• 각 P2P 네트워크 내에서 Allreduce를 사용해 장치 간 쌍방향 모델 집계를 수행하여 로컬 모델 업데이트를 동기화한다.
• 중앙 서버는 각 P2P 네트워크의 한 대표 장치와만 통신하므로 통신 부담이 크게 감소한다.
• 글로벌 모델은 개별 장치에서가 아니라 각 P2P 네트워크에서 집계된 파라미터를 통합하여 업데이트된다.
• 데이터 분포에 대한 사전 지식 없이도 네트워크 토폴로지 인식 기반의 그룹화를 허용하는 무작위 분할 전략을 사용한다.
• 통신 효율성은 업로드/다운로드 대역폭 비율(α), 서버-장치 대역폭 비율(γ), 샘플링된 장치 수(P) 등의 파라미터를 사용해 모델링된다.

실험 결과

연구 질문

• RQ1 로컬 장치 그룹 내 피어 투 피어 통신이 피어드 페더레이티드 러닝에서 중앙 서버의 통신 부담을 줄일 수 있는가?
• RQ2 장치 그룹화에 네트워크 토폴로지를 활용할 경우 통신 효율성과 모델 수렴에 어떤 영향을 미치는가?
• RQ3 실제 네트워크 조건 하에서 FedP2P가 FedAvg보다 통신 효율성과 모델 정확도 측면에서 뛰어나게 되는가?
• RQ4 학습 도중 장애 발생 또는 탈퇴하는 스트래글러 장치에 대해 FedP2P는 얼마나 내구성이 있는가?
• RQ5 P2P 네트워크 수(L)와 네트워크당 장치 수(Q)를 변화시켰을 때 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 동일한 수의 장치로 학습할 경우 FedP2P는 FedAvg 대비 통신 시간을 10배 빠르게 달성한다.
• 동일한 통신 라운드 수에서, 기준 데이터셋에서 FedP2P는 FedAvg 대비 약 8% 높은 테스트 정확도를 확보한다.
• 선택된 장치의 50%가 스트래글러로 탈퇴하더라도 FedP2P는 높은 정확도와 부드러운 수렴을 유지하지만, FedAvg는 성능이 크게 떨어진다.
• P2P 네트워크 수(L)와 네트워크당 장치 수(Q)의 변동에 대해 매우 민감하지 않으며, 최종 모델 정확도에 거의 영향을 주지 않는다.
• 샘플링된 장치 수가 500명을 초과하고 장치 대역폭이 비교적 높을 경우(FedP2P는 FedAvg보다 통신 효율성이 뛰어나다. (γ ≤ 100)
• 실제 대규모 피어드 페더레이티드 러닝 환경에서 고대역폭 장치와 수천 명의 참가자가 라운드당 참여하는 조건에서 FedP2P의 성능 향상 효과가 가장 두드러진다.