[논문 리뷰] Federated Learning: Strategies for Improving Communication Efficiency

Jakub Konečný, H. Brendan McMahan외 4명|arXiv (Cornell University)|2016. 10. 18.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 3,046

한 줄 요약

이 논문은 연합 학습에서 통신 효율 업데이트의 두 계열을 제시합니다: 구조화된 업데이트(저랭크 또는 임의 마스크)와 스케치된 업데이트(부분 샘플링, 양자화, 무작위 회전을 통한 압축), CIFAR-10 및 Reddit 데이터 실험에서 업링크 대역폭을 최대 100배–1000배까지 감소시키고 수렴 손실은 최소화했습니다.

ABSTRACT

Federated Learning is a machine learning setting where the goal is to train a high-quality centralized model while training data remains distributed over a large number of clients each with unreliable and relatively slow network connections. We consider learning algorithms for this setting where on each round, each client independently computes an update to the current model based on its local data, and communicates this update to a central server, where the client-side updates are aggregated to compute a new global model. The typical clients in this setting are mobile phones, and communication efficiency is of the utmost importance. In this paper, we propose two ways to reduce the uplink communication costs: structured updates, where we directly learn an update from a restricted space parametrized using a smaller number of variables, e.g. either low-rank or a random mask; and sketched updates, where we learn a full model update and then compress it using a combination of quantization, random rotations, and subsampling before sending it to the server. Experiments on both convolutional and recurrent networks show that the proposed methods can reduce the communication cost by two orders of magnitude.

연구 동기 및 목표

• 다수의 디바이스와 제한된 업링크 대역폭 환경에서 연합 학습을 촉진한다.
• 모델 품질을 해치지 않으면서 업링크 데이터를 줄이는 방법을 개발한다.
• 구조화된 업데이트와 스케치된 업데이트를 깊은 신경망과 시퀀스 모델에 대해 평가하여 통신 절감과 수렴 영향력을 정량화한다.

제안 방법

• 구조화된 업데이트는 클라이언트 업데이트를 더 작은 매개변수 공간으로 제한한다(예: 저랭크 또는 임의 마스크).
• 저랭크 업데이트는 업데이트 H_t를 A_t B_t로 분해하되 A는 임의이고 B는 학습되며, A의 시드를 유지하고 B를 전송함으로써 통신을 감소시킨다.
• 랜덤 마스크 업데이트는 임의로 생성된 희소 패턴을 사용하여 매개변수를 0으로 만들고 0이 아닌 값만 전송한다.
• 스케치된 업데이트는 장치에서 전체 업데이트를 계산한 후 부분 샘플링, 확률적 양자화, 선택적 무작위 회전을 통해 압축한다.
• 무작위 회전(Walsh-Hadamard 기반)은 양자화 전에 오차를 줄이고 압축 효과를 향상시키기 위해 회전을 적용한다.
• 이 방법들은 함께 결합될 수 있지만(예: 구조화된 업데이트 후 스케치) 본 연구에서 함께 탐구되지는 않았다.

실험 결과

연구 질문

• RQ1 구조화된 업데이트(저랭크, 임의 마스크)가 연합 학습에서 수렴과 통신 비용에 어떤 영향을 미치는가?
• RQ2 스케치된 업데이트(부분 샘플링, 양자화, 회전)가 업링크 대역폭을 줄이면서 정확도를 유지하는 데 얼마나 효과적인가?
• RQ3 구조화된 임의 회전을 이용한 전처리가 양자화/스케치된 업데이트의 성능을 개선하는가?
• RQ4 CIFAR-10 및 Reddit 다음 단어 예측 작업에서 통신 감소와 모델 성능 간의 트레이드오프는 어떠한가?

주요 결과

• 랜덤 마스크 업데이트는 업데이트 크기를 저랭크 업데이트보다 더 효과적으로 줄이면서 수렴에 큰 영향을 주지 않는다.
• 스케치된 업데이트는 커뮤니케이션 감소를 크게 달성할 수 있으며, 특히 무작위 회전 및 양자화와 함께 사용할 때 더 큰 감소를 보인다; 예를 들어 커뮤니케이션 비트가 최대 256x 감소하는 경우도 관찰되었으며 수렴 영향은 미미하다.
• 양자화 전에 구조화된 임의 회전을 사용하면 특히 저비트 양자화에서 강건성과 정확성이 향상된다.
• 모든 합성곱 네트워크를 가진 CIFAR-10에서 이 기술들의 조합은 원래 정확도에 근접한 성능을 유지하면서 전체 업데이트보다 훨씬 적은 데이터를 전송하도록 허용했다.
• Reddit 데이터에서 스케치 업데이트는 라운드당 통신 감소를 갖는 1.35M 매개변수 LSTM의 훈련을 가능하게 하여, 사용자 파티션이 있는 현실적인 연합 설정에서의 실용성을 보여준다.
• 라운드당 충분한 클라이언트가 있으면 공격적으로 업데이트를 샘플링(예: 요소의 1%)해도 경쟁력 있는 정확도를 유지할 수 있다는 결과를 시사한다.