[논문 리뷰] Federated Learning of Deep Networks using Model Averaging

H. Brendan McMahan, Eider Moore외 2명|arXiv (Cornell University)|2016. 02. 17.

Privacy-Preserving Technologies in Data참고 문헌 39인용 수 984

한 줄 요약

이 논문은 중앙 집중식 데이터 저장 없이 모바일 기기에서의 모델 업데이트를 집계함으로써 딥 네트워크를 훈련하는 분산형 접근 방식인 페더레이티드 러닝을 제안한다. 모델 평균화를 통해 낮은 통신량으로도 높은 정확도를 달성한다. 비독립 동일 분포(Non-IID) 및 불균형 데이터 분포 조건에서도 LSTM 언어 모델을 훈련하기 위해 통신 라운드 수를 100배 감소시켰다.

ABSTRACT

Modern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models can improve speech recognition and text entry, and image models can automatically select good photos. However, this rich data is often privacy sensitive, large in quantity, or both, which may preclude logging to the data-center and training there using conventional approaches. We advocate an alternative that leaves the training data distributed on the mobile devices, and learns a shared model by aggregating locally-computed updates. We term this decentralized approach Federated Learning. We present a practical method for the federated learning of deep networks that proves robust to the unbalanced and non-IID data distributions that naturally arise. This method allows high-quality models to be trained in relatively few rounds of communication, the principal constraint for federated learning. The key insight is that despite the non-convex loss functions we optimize, parameter averaging over updates from multiple clients produces surprisingly good results, for example decreasing the communication needed to train an LSTM language model by two orders of magnitude.

연구 동기 및 목표

• 데이터가 개인정보 보호가 필요한 분산 환경에서 모바일 기기에서 고성능 딥 러닝 모델을 훈련하는 데 도전 과제를 해결한다.
• 모바일 환경에서의 데이터 개인정보 보호, 데이터 볼륨, 전송 비용 등의 이유로 중앙 집중형 훈련이 제한됨을 극복한다.
• 기기 간 비독립 동일 분포 및 불균형 데이터 분포가 존재하더라도 효과적으로 작동하는 실용적인 페더레이티드 훈련 방법을 개발한다.
• 실제 구현에서 핵심적인 성능 저하 요인인 통신 라운드 수를 최소화한다.
• 비볼록 최적화 과정과 조건에서도 단순한 모델 평균화가 딥 네트워크에서 강력한 성능을 내는지 입증한다.

제안 방법

• 개별 모바일 기기에서 기기 내 개인정보 데이터를 사용해 딥 네트워크를 국지적으로 훈련한다.
• 중앙 파rameter 서버에서 로컬로 계산된 모델 업데이트를 전역 모델 평균화를 통해 집계한다.
• 각 기기에서 로컬 업데이트를 수행한 후 주기적으로 모델 가중치를 평균화하는 확률적 경사 하강법(SGD)을 적용한다.
• 통신 라운드마다 일부 기기만 참여하도록 클라이언트 샘플링 전략을 적용하여 오버헤드를 줄인다.
• 비독립 동일 분포 및 불균형 데이터 분포를 가진 클라이언트들 사이에서 모델 평균화의 강건성을 활용한다.
• 높은 모델 정확도에 도달하기 위해 필요한 통신 횟수를 최소화함으로써 통신 효율성을 최적화한다.

실험 결과

연구 질문

• RQ1 비독립 동일 분포 및 개인정보 보호가 필요한 조건에서, 모델 평균화가 분산형 페더레이티드 러닝 환경에서 딥 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ2 모바일 기기에서 흔히 발생하는 비독립 동일 분포 및 불균형 데이터 분포 조건에서 페더레이티드 러닝의 성능은 어떠한가?
• RQ3 모델 평균화를 통해 페더레이티드 러닝의 통신 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 비볼록 최적화 과정과 데이터 이질성 조건에서도 단순한 파rameter 평균화가 중앙 집중형 훈련과 유사한 성능을 내는가?
• RQ5 기존 방법에 비해 훨씬 적은 통신 라운드로도 페더레이티드 러닝이 고성능 모델을 달성할 수 있는가?

주요 결과

• 비독립 동일 분포 및 불균형 데이터 분포 조건에서도 로컬로 훈련된 모델의 평균화가 딥 네트워크에서 높은 성능을 달성한다.
• 페더레이티드 러닝 접근 방식은 LSTM 언어 모델을 훈련하기 위해 필요한 통신 라운드 수를 두 자리 수 감소시켰다.
• 딥 러닝의 손실 함수가 비볼록 성질을 띠더라도 이 방법은 강건하고 효과적인 성능을 유지한다.
• 최소한의 데이터 전송으로도 고성능 모델을 훈련할 수 있어 자원 제약 및 개인정보 보호가 중요한 모바일 환경에 적합하다.
• 중앙 서버에 데이터를 전송할 필요 없이 기기 내에서의 학습을 실용적으로 구현할 수 있다.