[논문 리뷰] On the Convergence of Federated Optimization in Heterogeneous Networks.

Anit Kumar Sahu, Tian Li외 4명|arXiv (Cornell University)|2018. 12. 14.

Privacy-Preserving Technologies in Data인용 수 230

한 줄 요약

이 논문은 통계적 이종성과 시스템 이종성을 모두 다루기 위해 FedAvg를 재구성함으로써 이종 네트워크에서 수렴 안정성을 향상시키는 새로운 피드포럴 최적화 프레임워크인 FedProx를 제안한다. 비정규 분포 및 시스템 이종성이 높은 환경에서 FedAvg 대비 평균 22% 높은 테스트 정확도를 달성하며, 현실적인 조건에서 이론적 수렴 보장을 제공한다.

ABSTRACT

Federated Learning is a distributed learning paradigm with two key challenges that differentiate it from traditional distributed optimization: (1) significant variability in terms of the systems characteristics on each device in the network (systems heterogeneity), and (2) non-identically distributed data across the network (statistical heterogeneity). In this work, we introduce a framework, FedProx, to tackle heterogeneity in federated networks. FedProx can be viewed as a generalization and re-parametrization of FedAvg, the current state-of-the-art method for federated learning. While this re-parameterization makes only minor modifications to the method itself, these modifications have important ramifications both in theory and in practice. Theoretically, we provide convergence guarantees for our framework when learning over data from non-identical distributions (statistical heterogeneity), and while adhering to device-level systems constraints by allowing each participating device to perform a variable amount of work (systems heterogeneity). Practically, we demonstrate that FedProx allows for more robust convergence than FedAvg across a suite of realistic federated datasets. In particular, in highly heterogeneous settings, FedProx demonstrates significantly more stable and accurate convergence behavior relative to FedAvg---improving absolute test accuracy by 22% on average.

연구 동기 및 목표

• 기기 간 데이터 분포가 비동일한 통계적 이종성 문제를 해결한다.
• 기기의 계산 능력과 통신 제약이 상이한 시스템 이종성 문제를 다룬다.
• 두 유형의 이종성 하에서 피드포럴 최적화의 이론적 수렴 보장을 제공한다.
• 실제 비정규, 비동일, 자원 제약 환경에서 피드포럴 학습 모델의 강건성과 정확도를 향상시킨다.

제안 방법

• 비동일한 데이터 분포 하에서 수렴을 향상시키기 위해 국소 목적 함수에 프록시 항을 도입함으로써 FedAvg를 재구성한다.
• 기기의 시스템 제약에 따라 각 기기가 다양한 양의 국소 작업을 수행할 수 있도록 허용하여 시스템 이종성을 수용한다.
• 글로벌 모델에 대한 근접도를 제어하는 하이퍼파라미터를 도입하여 국소 최적화와 글로벌 일관성 사이의 균형을 이룬다.
• 데이터 적합도와 글로벌 모델과의 거리 모두를 포함하는 정규화된 손실 함수로 국소 최적화 문제를 공식화한다.
• 이론적 분석을 통해 비동일한 데이터 분포와 변동하는 국소 계산 조건 하에서 정류점으로의 수렴을 입증한다.
• 성능 향상이 이루어지는 이종 환경에서 FedAvg와의 후행 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 비동일한 데이터 분포(통계적 이종성) 하에서도 수정된 피드포럴 최적화 프레임워크가 수렴을 이룰 수 있는가?
• RQ2 기기의 계산 능력이 상이하고 국소 업데이트 횟수가 다른 경우, 이 프레임워크는 어떻게 성능을 발휘하는가?
• RQ3 실제 피드포럴 학습 환경에서 FedAvg에 비해 수렴 안정성과 테스트 정확도가 향상되는가?
• RQ4 통계적 이종성과 시스템 이종성 모두 하에서 이 프레임워크의 이론적 수렴 행동은 어떠한가?
• RQ5 데이터가 매우 비정규 분포이며 기기의 계산 능력이 다양할 경우에도 이 프레임워크는 높은 모델 정확도를 유지할 수 있는가?

주요 결과

• FedProx는 통계적 이종성과 시스템 이종성 모두 하에서 피드포럴 최적화의 이론적 수렴 보장을 달성한다.
• 높은 이종성 환경에서 FedAvg에 비해 훨씬 더 안정적이고 정확도 높은 수렴을 보여준다.
• 다양한 실제 피드포럴 데이터셋을 대상으로 평균적으로 FedAvg 대비 절대 테스트 정확도가 22% 향상된다.
• 프록시 정규화 항은 데이터 이종성과 시스템 이종성으로 인한 발산을 효과적으로 완화한다.
• 다양한 데이터 분포와 기기 계산 수준에서 뛰어난 성능을 유지한다.
• 실험 결과는 FedProx가 비정규 분포 및 시스템 이종성이 높은 환경에서 수렴 속도와 최종 모델 정확도 면에서 FedAvg를 능가함을 확인한다.