[논문 리뷰] Federated Optimization: Distributed Machine Learning for On-Device Intelligence

Jakub Konečný, H. Brendan McMahan외 2명|arXiv (Cornell University)|2016. 10. 08.

Stochastic Gradient Optimization Techniques참고 문헌 68인용 수 1,652

한 줄 요약

논문은 방대한 분산형 비-IID 및 불균형 데이터가 다수의 기기에 걸쳐 분포된 연합 최적화를 도입하고, 희소 볼록 문제에 적합한 새로운 알고리즘을 제안하며 통신 라운드를 최소화하는 데 있어 고무적인 실험 결과를 보여준다.

ABSTRACT

We introduce a new and increasingly relevant setting for distributed optimization in machine learning, where the data defining the optimization are unevenly distributed over an extremely large number of nodes. The goal is to train a high-quality centralized model. We refer to this setting as Federated Optimization. In this setting, communication efficiency is of the utmost importance and minimizing the number of rounds of communication is the principal goal. A motivating example arises when we keep the training data locally on users' mobile devices instead of logging it to a data center for training. In federated optimziation, the devices are used as compute nodes performing computation on their local data in order to update a global model. We suppose that we have extremely large number of devices in the network --- as many as the number of users of a given service, each of which has only a tiny fraction of the total data available. In particular, we expect the number of data points available locally to be much smaller than the number of devices. Additionally, since different users generate data with different patterns, it is reasonable to assume that no device has a representative sample of the overall distribution. We show that existing algorithms are not suitable for this setting, and propose a new algorithm which shows encouraging experimental results for sparse convex problems. This work also sets a path for future research needed in the context of \federated optimization.

연구 동기 및 목표

• 데이터가 다수의 노드에 걸쳐 대규모로 분포하고 비-IID인 연합 최적화 설정을 강조한다.
• 이 설정에서 기존 분산 최적화 방법의 한계를 파악한다.
• 희소하고 분산된 데이터에 맞춘 새로운 알고리즘을 제안하고 그 통신 효율성을 평가한다.
• 연합 맥락에서 중앙 집중형 모델을 적은 통신 라운드로 학습시킬 수 있음을 입증한다.

제안 방법

• 데이터가 로컬 계산을 수행하는 매우 많은 수의 노드에 분산되어 있는 연합 최적화 문제를 수식화한다.
• IID 샘플이나 데이터의 강한 중앙 집중화에 의존하지 않는 새로운 분산 최적화 접근법을 개발한다.
• 희소성 구조를 활용하여 연합 최적화를 위한 효과적인 알고리즘을 설계한다.
• 장치에서의 강력한 로컬 계산을 허용하면서 통신 라운드를 최소화하는 데 초점을 맞춘다.
• 업데이트를 중앙 서버로 보내는 작은 델타 벡터로 업데이트를 프레이밍하여 페이로드 크기와 프라이버시 이슈를 줄인다.

실험 결과

연구 질문

• RQ1 대규모로 분산되고 비-IID이며 불균형한 데이터 조건에서 연합 최적화가 고품질의 중앙집중형 모델로 수렴할 수 있는가?
• RQ2 특히 희소 데이터의 경우 연합 설정에서 통신 효율성을 달성하기 위해 어떤 알고리즘적 변화가 필요한가?
• RQ3 온-디바이스 학습 맥락에서 희소성이 분산 최적화의 설계와 성능에 어떤 영향을 미치는가?
• RQ4 업데이트만으로 모델을 학습할 때 프라이버시 및 통신에 대한 실제적 시사점은 무엇인가?

주요 결과

• 데이터가 다수의 기기에 걸쳐 대규모로 분포되고 비-IID이며 불균형한 새로운 연합 최적화 설정이 정의된다.
• 기존 알고리즘은 연합 최적화에 잘 맞지 않아 제안된 접근법의 필요성을 시사한다.
• 제안된 알고리즘은 희소 볼록 문제에 대해 고무적인 실험 결과를 보여주며 낮은 통신으로의 수렴 가능성을 시사한다.
• 장치 로컬 계산과 작은 델타 업데이트를 사용함으로써 통신 라운드를 크게 줄일 수 있다.
• 이 프레임워크는 데이터 로컬리티 및 프라이버시 고려를 유지하면서 중앙화된 모델 통합을 통해 온-디바이스 학습을 지원한다.