[논문 리뷰] FetchSGD: Communication-Efficient Federated Learning with Sketching

Daniel Rothchild, Ashwinee Panda외 6명|arXiv (Cornell University)|2020. 07. 15.

Privacy-Preserving Technologies in Data참고 문헌 50인용 수 65

한 줄 요약

FetchSGD는 Count Sketch 압축과 sketch mergeability를 활용하여 다수의 워커에서 업데이트를 모아 전송하는 통신 효율적인 연합 학습 알고리즘을 도입하여, 중심 수집기에서 모멘텀과 오차 누적을 처리할 수 있도록 한다.

ABSTRACT

Existing approaches to federated learning suffer from a communication bottleneck as well as convergence issues due to sparse client participation. In this paper we introduce a novel algorithm, called FetchSGD, to overcome these challenges. FetchSGD compresses model updates using a Count Sketch, and then takes advantage of the mergeability of sketches to combine model updates from many workers. A key insight in the design of FetchSGD is that, because the Count Sketch is linear, momentum and error accumulation can both be carried out within the sketch. This allows the algorithm to move momentum and error accumulation from clients to the central aggregator, overcoming the challenges of sparse client participation while still achieving high compression rates and good convergence. We prove that FetchSGD has favorable convergence guarantees, and we demonstrate its empirical effectiveness by training two residual networks and a transformer model.

연구 동기 및 목표

• 희소한 클라이언트 참여로 연합 학습의 통신 병목 현상을 해결한다.
• 다수의 워커 간 집계를 지원하는 스케치 기반 압축 메커니즘을 개발한다.
• 희소한 참여에도 불구하고 중심 수집기에서 모멘텀과 오차 누적이 수행되도록 한다.
• 신경망 모델에 대한 수렴 보장 및 실험적 검증을 제공한다.

제안 방법

• Count Sketch로 모델 업데이트를 압축한다.
• Count Sketch의 선형성 및 병합 가능성 특성을 활용하여 다수 워커로부터의 스케치를 집계한다.
• 모멘텀과 오차 누적을 스케치 내부에서 수행하여 중앙 집계를 가능하게 한다.
• FetchSGD에 대한 수렴 분석을 제공한다.
• 잔차 네트워크와 트랜스포머 모델에서 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 Count Sketch 기반 압축이 수렴성 저하 없이 연합 학습에서 높은 압축률을 달성할 수 있는가?
• RQ2 클라이언트 참여가 희소할 때 중심 수집기에서 모멘텀과 오차 누적을 어떻게 효과적으로 수행할 수 있는가?
• RQ3 스케치 기반 집계가 확장 가능한 통신 감소를 가능하게 하면서 수렴 보장을 유지하는가?
• RQ4 현실적인 연합 학습 설정에서 표준 신경망 아키텍처에 대한 FetchSGD의 실험적 성능은 어떠한가?

주요 결과

• FetchSGD는 Count Sketch 압축을 통해 통신 효율적인 업데이트를 달성한다.
• Count Sketch의 선형성은 모멘텀과 오차 누적을 스케치 내부와 중앙 수집기에서 처리할 수 있게 한다.
• 스케치 병합 가능성은 다수의 워커로부터의 업데이트를 효과적으로 집계할 수 있게 한다.
• 이 방법은 수렴 보장을 제공하고 잔차 네트워크와 트랜스포머 모델에서 실험적으로 효과를 보인다.