[논문 리뷰] Federated Optimization in Heterogeneous Networks

Li Tian, Anit Kumar Sahu외 4명|arXiv (Cornell University)|2018. 12. 14.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 451

한 줄 요약

FedProx는 프로토콜 개조를 통해 시스템 이질성과 통계적 이질성 모두를 처리하도록 FedAvg를 일반화하며, 근접항(proximal term)을 도입하고 가변적인 로컬 업데이트를 허용하여 수렴 보장과 실험적으로 강건한 성능을 제공합니다.

ABSTRACT

Federated Learning is a distributed learning paradigm with two key challenges that differentiate it from traditional distributed optimization: (1) significant variability in terms of the systems characteristics on each device in the network (systems heterogeneity), and (2) non-identically distributed data across the network (statistical heterogeneity). In this work, we introduce a framework, FedProx, to tackle heterogeneity in federated networks. FedProx can be viewed as a generalization and re-parametrization of FedAvg, the current state-of-the-art method for federated learning. While this re-parameterization makes only minor modifications to the method itself, these modifications have important ramifications both in theory and in practice. Theoretically, we provide convergence guarantees for our framework when learning over data from non-identical distributions (statistical heterogeneity), and while adhering to device-level systems constraints by allowing each participating device to perform a variable amount of work (systems heterogeneity). Practically, we demonstrate that FedProx allows for more robust convergence than FedAvg across a suite of realistic federated datasets. In particular, in highly heterogeneous settings, FedProx demonstrates significantly more stable and accurate convergence behavior relative to FedAvg---improving absolute test accuracy by 22% on average.

연구 동기 및 목표

• 시스템 이질성과 통계적 이질성 모두에 대해 연합 학습의 동기를 부여한다.
• 근접 항을 갖는 FedAvg의 일반화로서 FedProx를 도입한다.
• 비 IID 데이터 및 부분적인 디바이스 참여하에서 수렴 보장을 제공한다.
• 이질적 설정에서 실용적인 강건성과 향상된 정확도를 보여준다.

제안 방법

• FedProx를 디바이스 간 가변 로컬 작업을 허용하는 FedAvg의 일반화로 제시한다.
• 로컬 부분 문제에 근접 항을 추가한다: h_k(w; w^t) = F_k(w) + (μ/2)||w - w^t||^2.
• 다양한 정확도로 비정확한 로컬 해를 모델링하기 위해 γ_k^t-부정확성(inexactness)을 도입하고 활용한다.
• 장치 간 통계적 이질성을 정량화하기 위해 B-local dissimilarity를 정의한다.
• 경계 이질성 및 비 IID 데이터 하에서 수렴 보장을 증명한다.
• FedProx가 스트래거에 대한 민감도를 감소시키고 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 시스템과 데이터 양쪽의 이질성이 연합 최적화의 수렴에 어떻게 영향을 미치는가?
• RQ2 근접 항과 가변 로컬 작업이 비 IID 데이터와 부분적인 디바이스 참여하에서 증명 가능한 수렴을 가능하게 할 수 있는가?
• RQ3 이질적인 디바이스를 가진 FedProx에서 충분한 감소를 보장하는 이론적 조건은 무엇인가?
• RQ4 현실적인 이질성에서 강건성 및 정확도 면에서 FedProx와 FedAvg의 비교는 어떠한가?

주요 결과

• FedProx는 매우 이질적인 설정에서 안정성과 정확성을 향상시키며, 테스트 정확도가 평균적으로 22% 증가한다.
• 근접 항은 가변 로컬 업데이트의 영향력을 제어하는 데 도움을 주며 이질성 하에서 수렴을 돕는다.
• 수렴 보장은 경계 이질성 하에서 비볼록 로컬 목적 함수에 대해 제공된다.
• 이 프레임워크는 가변적인 로컬 작업 양을 허용하고도 매 라운드마다 감소가 보장된다.
• FedProx는 FedAvg를 일반화하며, μ = 0 및 균일한 γ일 때 특별한 경우로 회귀된다.
• 합성 및 실제 연합 데이터셋에 대한 실증 결과는 스트래거와 통계적 이질성에 대한 강건성을 입증한다.