[논문 리뷰] Mime: Mimicking Centralized Stochastic Algorithms in Federated Learning

Sai Praneeth Karimireddy, Martin Jaggi외 5명|arXiv (Cornell University)|2020. 08. 08.

Privacy-Preserving Technologies in Data참고 문헌 68인용 수 94

한 줄 요약

Mime는 중앙집중식 최적화 알고리즘을 크로스-디바이스 연합학습에 적용하기 위한 일반 프레임워크를 제공하여 클라이언트 드리프트를 감소시키고, 국소 업데이트와 함께 점근적 속도 향상을 가능하게 하며 모멘텀 기반 분산 감소를 포함합니다.

ABSTRACT

Federated learning (FL) is a challenging setting for optimization due to the heterogeneity of the data across different clients which gives rise to the client drift phenomenon. In fact, obtaining an algorithm for FL which is uniformly better than simple centralized training has been a major open problem thus far. In this work, we propose a general algorithmic framework, Mime, which i) mitigates client drift and ii) adapts arbitrary centralized optimization algorithms such as momentum and Adam to the cross-device federated learning setting. Mime uses a combination of control-variates and server-level statistics (e.g. momentum) at every client-update step to ensure that each local update mimics that of the centralized method run on iid data. We prove a reduction result showing that Mime can translate the convergence of a generic algorithm in the centralized setting into convergence in the federated setting. Further, we show that when combined with momentum based variance reduction, Mime is provably faster than any centralized method--the first such result. We also perform a thorough experimental exploration of Mime's performance on real world datasets.

연구 동기 및 목표

• 크로스-디바이스 연합학습에서 클라이언트 드리프트를 완화한다.
• 임의의 중앙집중식 최적화 알고리즘(예: 모멘텀, Adam)을 FL에 적응시키다.
• Mime가 중앙 기반 기준보다 수렴을 보존하거나 개선한다는 수렴 보장을 제공한다.
• Mime를 이용한 모멘텀 기반 분산 감소가 서버 전용 방법보다 더 빠른 수렴을 유도한다는 것을 보인다.
• 실제 데이터셋에서 경험적 실험을 통해 Mime와 경량 변형인 MimeLite를 검증한다.

제안 방법

• 서버 측 최적화기 상태와 SVRG 스타일 보정을 사용하여 각 로컬 클라이언트 업데이트가 i.i.d. 데이터에서 대응하는 중앙집중식 업데이트를 모방하게 하는 프레임워크인 Mime를 도입한다.
• 기본 중앙집중식 최적화기를 업데이트 함수 U(g, s)와 최적화기 상태 업데이트 V(g, s)의 한 쌍으로 표현한다.
• 서버 매개변수에서의 전체 그래디언트를 사용하여 서버에서 글로벌 최적화기 상태를 계산하고, 이 상태를 로컬 클라이언트 업데이트 중에 고정된 상태로 유지한다.
• 로컬 업데이트 중에 기울어진(편향된) 또는 보정된 그래디언트에 기반 최적화기의 업데이트 U를 적용하여 드리프트를 줄이고, SVRG 유사 보정(Mime) 또는 일반 로컬 미니배치 그래디언트를 사용하는 MimeLite를 사용한다.
• 일반적인 수렴 감소를 제공한다: 기본 최적화기가 견고하게 수렴하면 Mime은 로컬 스텝으로 수렴을 상속하고, Hessian 비동질성 아래에서 서버 전용 하한을 능가하기 위한 특정 모멘텀 기반 분산 감소(MVR)를 분석한다.

실험 결과

연구 질문

• RQ1 임의의 중앙집중식 최적화기가 클라이언트 드리프트를 유발하지 않으면서 크로스-디바이스 FL 설정으로 충실히 전달될 수 있는가?
• RQ2 어떤 조건에서 Mime와 MimeLite가 중앙집중식 방법 및 서버 전용 FL 기준선에 비해 수렴을 보존하거나 개선하는가?
• RQ3 Mime에 모멘텀 기반 분산 감소(MVR)를 도입하면 연합학습에서 서버 전용 방법에 비해 점근적 속도 향상이 있는가?
• RQ4 이질성 지표(G^2, δ)가 Mime/MimeLite의 수렴 속도와 잠재적 속도 향상에 어떤 영향을 미치는가?
• RQ5 실제 연합 데이터셋에서 Mime와 MimeLite의 경험적 성능은 FedAvg 및 다른 FL 기준선과 비교했을 때 어떠한가?

주요 결과

• Mime은 클라이언트 드리프트를 감소시키고 일반적인 중앙집중식 알고리즘의 수렴을 연합설정으로 옮겨준다.
• 헤시안 비동질성 δ가 매끄러움 L에 비해 작을 때 MVR를 가진 Mime가 서버 전용 방법의 하한을 이긴다.
• 실제 데이터셋에 대한 실험에서 Mime와 MimeLite가 FedAvg보다 더 빠르게 수렴한다.
• 모멘텀을 매 로컬 클라이언트 업데이트에 적용하는 것이 서버 측 모멘텀만 사용하는 것보다 더 큰 성능 향상을 제공합니다.
• MimeLite는 실제로 Mime와 근접하게 일치하며, 더 간단한 보정으로도 유사한 가속 이점을 달성할 수 있다.
• 이론적 결과에는 축약 정리와 Mime가 크로스-디바이스 FL에서 점근적으로 수렴 속도를 높이는 조건들이 포함된다.