[논문 리뷰] Communication-Efficient Learning of Deep Networks from Decentralized Data

H. Brendan McMahan, Eider Moore외 3명|arXiv (Cornell University)|2016. 02. 17.

Privacy-Preserving Technologies in Data인용 수 5,172

한 줄 요약

Federated Averaging (FedAvg)을 도입하는 실용적 방법으로, 중앙 서버에서 모델을 평균화하면서 로컬에서 모델을 업데이트해 분산된 모바일 기기의 데이터로 딥 네트워크를 학습하고, 비 IID 및 불균형 데이터 처리하면서 통신 라운드를 크게 줄이는 방법.

ABSTRACT

Modern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models can improve speech recognition and text entry, and image models can automatically select good photos. However, this rich data is often privacy sensitive, large in quantity, or both, which may preclude logging to the data center and training there using conventional approaches. We advocate an alternative that leaves the training data distributed on the mobile devices, and learns a shared model by aggregating locally-computed updates. We term this decentralized approach Federated Learning. We present a practical method for the federated learning of deep networks based on iterative model averaging, and conduct an extensive empirical evaluation, considering five different model architectures and four datasets. These experiments demonstrate the approach is robust to the unbalanced and non-IID data distributions that are a defining characteristic of this setting. Communication costs are the principal constraint, and we show a reduction in required communication rounds by 10-100x as compared to synchronized stochastic gradient descent.

연구 동기 및 목표

• 원시 데이터를 중앙 집중화하지 않고 분산된 프라이버시 민감한 모바일 기기 데이터로부터의 학습을 동기로 삼는다.
• 딥 네트워크에 적합한 실용적인 연합 최적화 알고리즘을 제안한다.
• 여러 모델, 데이터세트, 그리고 비-IID 데이터 시나리오에 걸쳐 FedAvg를 평가한다.
• 통신 효율성 향상 및 데이터 이질성에 대한 강건성을 정량화한다.

제안 방법

• Federated optimization 문제를 K개의 클라이언트에 데이터가 분할된 상태로 정의: f(w)= (1/n) sum_i f_i(w) 및 F_k(w)= (1/n_k) sum_{i in P_k} f_i(w).
• FedAvg 도입: 각 클라이언트가 로컬 SGD 업데이트를 다수 수행한 뒤, 서버가 가중치 n_k/n로 업데이트된 모델들을 평균화하여 새로운 글로벌 모델을 형성한다.
• 연산 및 통신은 C(라운드당 클라이언트 비율), E(로컬 에포크), B(로컬 미니배치 크기)로 제어한다; 라운드당 업데이트 수는 u = E*n_k/B 를 관찰한다.
• 랜덤 클라이언트 부분집합에 걸친 한 라운드의 그래디언트 계산을 이용한 FedSGD 기준과 비교하여 통신 라운드 감소를 보인다.
• IID 및 비-IID 데이터 분할 하에서 MNIST 변형(2NN 및 CNN), CIFAR-10, 그리고 Shakespeare LSTM에 대해 다양한 C, E, B 하에서 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 FedAvg가 분산되고 비-IID이며 불균형한 모바일 디바이스 데이터에서 딥 네트워크를 학습할 때 어떻게 성능을 발휘하는가?
• RQ2 연합 최적화에서 로컬 계산(E, B)과 통신 라운드(C) 간의 트레이드오프는 무엇인가?
• RQ3 로컬에서 학습된 모델들의 평균화가 순진한 Federated SGD 기준선보다 일반화나 수렴 속도를 더 개선할 수 있는가?
• RQ4 아주 비-IID 구분 및 불균형한 클라이언트 데이터 분포에 대해 FedAvg의 강건성은 어느 정도인가?
• RQ5 이미지 및 언어 모델링 작업에서 달성 가능한 통신 감소 및 속도 향상의 크기는 어느 정도인가?

주요 결과

• FedAvg는 목표 정확도에 도달하는 데 필요한 통신 라운드 수를 FedSGD에 비해 크게 감소시키며, 여러 배에서 한 차례 이상 크게 감소하는 경우가 많다.
• 클라이언트당 로컬 계산 증가(E를 통해)와 더 작은 B를 통해 상당한 통신 속도 향상을 얻으며, IID 및 비-IID 데이터 파티션에서도 강건성이 관찰된다.
• 로컬에서 학습된 모델의 평균화는 수렴 속도를 높일 뿐만 아니라 규제화와 유사한 효과를 제공하여 지역 데이터셋이 서로 겹치지 않더라도 일반화 성능을 개선시킬 수 있다.
• FedAvg는 MNIST(2NN 및 CNN), CIFAR-10, Shakespeare LSTM 실험에서 FedSGD를 능가하며, 도전적인 비-IID 및 불균형 데이터 시나리오를 포함한다.
• 다양한 모델 계열(feedforward nets, CNNs, LSTMs)과 데이터 규모에서 성능 향상이 지속되며, 수십만 개의 클라이언트를 포함한 대규모 언어 모델링 설정도 포함한다.