[논문 리뷰] Communication-Efficient Learning of Deep Networks from Decentralized Data

H. Brendan McMahan, Eider Moore외 3명|arXiv (Cornell University)|2016. 02. 17.

Privacy-Preserving Technologies in Data인용 수 5,595

한 줄 요약

Federated Averaging (FedAvg)을 도입하여 로컬 계산과 서버 측 모델 평균화를 통한 분산 모바일-기기 데이터에서의 딥 네트워크 학습을 실용적으로 가능하게 하며, 비 IID 및 불균형 데이터를 처리하는 동시에 통신 라운드를 크게 줄인다.

ABSTRACT

Modern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models can improve speech recognition and text entry, and image models can automatically select good photos. However, this rich data is often privacy sensitive, large in quantity, or both, which may preclude logging to the data center and training there using conventional approaches. We advocate an alternative that leaves the training data distributed on the mobile devices, and learns a shared model by aggregating locally-computed updates. We term this decentralized approach Federated Learning. We present a practical method for the federated learning of deep networks based on iterative model averaging, and conduct an extensive empirical evaluation, considering five different model architectures and four datasets. These experiments demonstrate the approach is robust to the unbalanced and non-IID data distributions that are a defining characteristic of this setting. Communication costs are the principal constraint, and we show a reduction in required communication rounds by 10-100x as compared to synchronized stochastic gradient descent.

연구 동기 및 목표

• 개인정보를 보호하고 중앙 데이터 수집을 줄이기 위해 데이터를 모바일 기기에 보관한 채 딥 네트워크를 훈련하는 연구의 필요성을 제시한다.
• FedAvg 알고리즘을 실용적인 연합 최적화 방법으로 정의하고 정당화한다.
• 비 IID 및 불균형한 데이터 분포 하에서 여러 모델 아키텍처와 데이터셋에 걸쳐 FedAvg를 경험적으로 평가한다.
• 표준 동기식 SGD에 비해 FedAvg가 통신 라운드를 수 차원으로 감소시키는 동시에 정확도는 유지하거나 향상시킴을 보여준다.

제안 방법

• 클라이언트에서의 로컬 SGD 업데이트를 서버 측 가중 모형 평균화 단계와 결합하여 FederatedAveraging (FedAvg)을 제안한다.
• FedAvg를 세 가지 매개변수로 요약한다: C(라운드당 참여 클라이언트의 비율), E(라운드당 로컬 에포크 수), B(로컬 미니배치 크기).
• FedSGD를 넘어 다중 로컬 업데이트(E>1)와 더 작은 로컬 미니배치(B<∞)를 허용하여 일반화되는 FedAvg를 보인다.
• 고정된 클라이언트 집합과 라운드별 무작위 클라이언트 선택을 갖는 동기식 라운드 기반 연합 최적화를 분석한다.
• 데이터 로컬리티를 존중하고 통신 부담을 줄이는 간단하고 확장 가능한 업데이트를 활용한다.
• 실용적인 구현을 가능하게 하기 위해 ClientUpdate 및 FederatedAveraging 단계에 대한 의사코드를 제공한다.

실험 결과

연구 질문

• RQ1 데이터가 여러 클라이언트의 사용자 기기에 남아 있는 상태에서 어떻게 딥 네트워크를 효과적으로 학습시킬 수 있는가?
• RQ2 로컬 계산 및 모델 평균화(FedAvg)가 중앙 집중식 또는 완전 동기식 SGD에 비해 훨씬 적은 통신 라운드로도 비슷한 정확도를 달성하는가?
• RQ3 클라이언트 간의 비 IID 및 불균형 데이터 분포가 FedAvg에서 수렴 및 최종 모델 성능에 어떤 영향을 미치는가?
• RQ4 클라이언트 참여 비율(C), 로컬 계산(E, B), 그리고 전반적인 통신 효율성 사이의 균형은 무엇인가?

주요 결과

• FedAvg는 FedSGD에 비해 통신 라운드를 크게 줄이면서 MNIST, CIFAR-10 및 Shakespeare LSTM 작업에서 정확도를 유지하거나 향상시킨다.
• 클라이언트당 로컬 계산 증가(E 증가 또는 B 감소)는 통신 라운드를 크게 줄이며, 데이터가 IID이거나 비교적 비 IID일 때 가장 큰 이점을 보인다.
• FedAvg 모델은 라운드 기준 수렴이 더 빠르며 평균화했을 때 지역적으로 학습된 모델보다 우수할 수 있어 드롭아웃에 비유되는 정규화 효과를 시사한다.
• 이 방법은 50만 명이 넘는 대규모 클라이언트가 포함된 언어 모델링 작업을 포함하여 매우 비 IID 및 불균형한 데이터 분할에도 견고하다.
• CIFAR-10 실험에서 FedAvg는 SGD 기준선보다 목표 정확도에 도달하는 데 훨씬 적은 라운드를 사용했다(예: 특정 목표에 대해 64.3x 및 49.2x 가속).