[논문 리뷰] Federated Optimization:Distributed Optimization Beyond the Datacenter

Jakub Konečný, H. Brendan McMahan외 1명|arXiv (Cornell University)|2015. 11. 11.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 580

한 줄 요약

이 논문은 데이터가 대규모로 분산되어 있고, 비균형이며 비독립동일분포(IID)인 경우, 중앙집중식 모델을 훈련하기 위한 통신 효율적인 분산학습 프레임워크인 페더레이티드 옵timization을 소개한다. 저자는 DSVRG를 제안하며, 이는 특성별로 적응형 평균을 사용하는 스파arsity 인식 행렬을 통해 수렴성을 향상시키는 SVRG의 변종이다. 이는 극단적인 데이터 편향과 희소성 조건에서도 매우 적은 통신 라운드 수로 거의 최적의 성능을 달성한다.

ABSTRACT

We introduce a new and increasingly relevant setting for distributed optimization in machine learning, where the data defining the optimization are distributed (unevenly) over an extremely large number of odes, but the goal remains to train a high-quality centralized model. We refer to this setting as Federated Optimization. In this setting, communication efficiency is of utmost importance. A motivating example for federated optimization arises when we keep the training data locally on users' mobile devices rather than logging it to a data center for training. Instead, the mobile devices are used as nodes performing computation on their local data in order to update a global model. We suppose that we have an extremely large number of devices in our network, each of which has only a tiny fraction of data available totally; in particular, we expect the number of data points available locally to be much smaller than the number of devices. Additionally, since different users generate data with different patterns, we assume that no device has a representative sample of the overall distribution. We show that existing algorithms are not suitable for this setting, and propose a new algorithm which shows encouraging experimental results. This work also sets a path for future research needed in the context of federated optimization.

연구 동기 및 목표

• 각 기기에서 소량의 비대표적인 데이터만 보유한 대규모 수의 기기들 간에 분산된 데이터에서 고성능 중앙집중식 모델을 훈련하는 데 도전 과제를 해결한다.
• 기존의 통신 효율적인 알고리즘들이 데이터가 균형 잡혀 있고 IID이며, 데이터 포인트 수보다 적은 노드 수를 가정하는 데서 비롯되는 한계를 극복한다.
• 제약된 연결성과 높은 계산 능력을 지닌 실세계의 모바일 및 엣지 기기들에 적합한 확장 가능한 최적화 방법을 설계한다.
• 데이터를 기기 내부에 유지하면서도 효과적인 글로벌 모델 업데이트를 가능하게 하여 기밀 보장된 머신러닝을 실현한다.
• 심각한 데이터 비균형과 비IID 분포 조건에서도 통신 효율성이 확보될 수 있음을 입증한다.

제안 방법

• 희소하고 비균형적이며 비IID 데이터를 가진 페더레이티드 환경에 특화된 SVRG의 변종인 DSVRG(Distributed Stochastic Variance Reduced Gradient)를 제안한다.
• 각 특성이 노드들 사이에서 얼마나 자주 나타나는지에 따라 업데이트를 스케일링하는 특성별 적응형 행렬 A를 도입하며, 여기서 A_ii = K / ω_i이다. 이는 희귀 특성의 수렴성을 향상시킨다.
• 각 기기에서 통신 이전에 다수의 반복을 수행하는 로컬 계산을 활용하여 통신 횟수를 최소화한다.
• 적응형 행렬을 사용해 전체 평균과 독립적 업데이트 사이를 보간하며, 더 적은 수의 노드에서 존재하는 특성에 대해 더 큰 스텝을 선호한다.
• 특성 분포의 희소성 패턴을 활용해 업데이트 크기를 지도함으로써 데이터 편향에 대한 강건성을 향상시킨다.
• 기기들이 원시 데이터가 아닌 모델 업데이트만 전송하는 통신 효율적인 프로토콜을 구현함으로써 기밀 보장을 유지하고 대역폭을 절감한다.

실험 결과

연구 질문

• RQ1 대규모 수의 기기들이 각각 소량의 비대표적인 데이터 부분집합만 보유한 환경에서 통신 효율적인 최적화 알고리즘이 신뢰성 있게 수렴할 수 있는가?
• RQ2 최적화 방법은 어떻게 극단적인 데이터 비균형과 기기 간 비IID 분포를 처리할 수 있는가?
• RQ3 희소성 패턴은 페더레이티드 러닝을 위한 효과적인 분산 최적화 알고리즘 설계에 어떤 역할을 하는가?
• RQ4 특성 빈도 기반의 기울기 가중치 조정은 페더레이티드 환경에서 수렴 속도와 모델 품질을 향상시킬 수 있는가?
• RQ5 기존의 통신 효율적인 알고리즘은 비균형적이며 비IID 데이터를 가진 실제 페더레이티드 러닝 시나리오에서 얼마나 실패하는가?

주요 결과

• DANE와 DiSCO와 같은 기존의 통신 효율적인 알고리즘들은 데이터 비균형과 비IID 특성으로 인해 페더레이티드 옵티마이제이션 환경에서 발산한다.
• CoCoA는 수렴하지만, 단순한 분산 기울기 하강법보다 훨씬 느리며, 이는 이 환경에서의 비효율성을 시사한다.
• DSVRG는 매우 적은 통신 라운드 수로 거의 최적의 성능을 달성한다—비균형적이며 비IID 데이터 조건에서도 강력한 수렴성을 보여준다.
• DSVRG의 성능은 무작위로 재셔플링된 데이터를 가진 베이스라인과 거의 구분되지 않으며, 데이터 편향에 대한 강건성을 보여준다.
• 적응형 행렬 A의 사용은 성능 향상에 크게 기여하며, 이를 생략할 경우 성능 저하가 심각하게 발생한다.
• 이 방법은 통신을 최소화하면서 효과적인 모델 훈련을 가능하게 하여, 간헐적인 연결성을 가진 모바일 및 엣지 기기들에 적합하다.