[논문 리뷰] Communication Efficiency in Federated Learning: Achievements and Challenges

Osama Shahid, Seyedamin Pouriyeh외 4명|arXiv (Cornell University)|2021. 07. 23.

Privacy-Preserving Technologies in Data참고 문헌 76인용 수 50

한 줄 요약

이 설문은 연합학습(Federated Learning)에서의 통신 효율성을 분석하고, 통신 오버헤드를 줄이기 위한 도전 과제와 방법을 상세히 설명합니다.

ABSTRACT

Federated Learning (FL) is known to perform Machine Learning tasks in a distributed manner. Over the years, this has become an emerging technology especially with various data protection and privacy policies being imposed FL allows performing machine learning tasks whilst adhering to these challenges. As with the emerging of any new technology, there are going to be challenges and benefits. A challenge that exists in FL is the communication costs, as FL takes place in a distributed environment where devices connected over the network have to constantly share their updates this can create a communication bottleneck. In this paper, we present a survey of the research that is performed to overcome the communication constraints in an FL setting.

연구 동기 및 목표

• 연합학습의 동기와 프라이버시 보장 이점을 설명합니다.
• 연합학습에서 통신 관련 도전 과제를 식별하고 분류합니다.
• 연합학습의 통신 효율성을 개선하기 위한 방법을 검토하고 종합합니다.
• 연합학습 통신 연구의 격차와 향후 방향을 강조합니다.
• 본 연구를 일반적인 FL 주제보다 통신에 초점을 둔 설문으로 제시합니다.

제안 방법

• 데이터 소유자와 중앙 서버가 있는 FL 아키텍처를 기술합니다.
• 수평형, 수직형, 연합 전이 등 FL 시스템의 유형을 소개합니다.
• 통신 도전 과제와 효율성 방법에 초점을 맞춘 두 개의 연구 질문을 형식화합니다.
• 로컬 업데이트, 클라이언트 선택, 모델 업데이트 감소, 분산 학습 및 압축에 관한 문헌을 검토합니다.
• 기존 설문조사를 논의하고 본 연구를 커뮤니케이션 중심의 전용 설문으로 제시합니다.

실험 결과

연구 질문

• RQ1 통신과 관련된 연합학습의 주요 도전 과제는 무엇인가?
• RQ2 연합학습에서 통신을 더 효율적으로 만들 수 있는 방법은 무엇인가?

주요 결과

• 주요 통신 병목 요인 식별: 기기의 수, 네트워크 대역폭, 에지 컴퓨팅 한계, 데이터 이질성.
• 로컬 업데이트, 클라이언트 선택, 모델 업데이트 감소는 통신 라운드 수와 교환되는 데이터를 감소시킬 수 있다.
• FedAvg, SCAFFOLD, FedDANE, FedPAQ는 드리프트 및 오버헤드 완화를 위한 전략을 제공한다.
• 제한된 네트워크에서의 스케줄링을 향상시키는 FedCS 및 MCML과 같은 참여 전략.
• 일회성 및 앙상블 접근법은 잦은 라운드 기반 업데이트에 대한 대안을 제공한다.
• 압축과 함께 분산형 및 피어투피어 학습은 통신 효율성에 기여한다.