[논문 리뷰] Fed+: A Unified Approach to Robust Personalized Federated Learning

P. L. Yu, Achintya Kundu외 2명|arXiv (Cornell University)|2020. 09. 14.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 8

한 줄 요약

Fed+는 클라이언트 간 데이터 독립성 또는 동일한 분포를 가정하지 않고 강력한 통계적 방법을 사용하여 모델 집합을 향상시키는 통합된 프레임워크이다. 이는 이질적인 데이터 및 계산 조건 하에서도 수렴을 보장하며, 금융 포트폴리오 관리와 같은 실제 응용 분야에서 표준 피어드 학습보다 뛰어나다.

ABSTRACT

We present a class of methods for robust, personalized federated learning, called Fed+, that unifies many federated learning algorithms. The principal advantage of this class of methods is to better accommodate the real-world characteristics found in federated training, such as the lack of IID data across parties, the need for robustness to outliers or stragglers, and the requirement to perform well on party-specific datasets. We achieve this through a problem formulation that allows the central server to employ robust ways of aggregating the local models while keeping the structure of local computation intact. Without making any statistical assumption on the degree of heterogeneity of local data across parties, we provide convergence guarantees for Fed+ for convex and non-convex loss functions and robust aggregation. The Fed+ theory is also equipped to handle heterogeneous computing environments including stragglers without additional assumptions; specifically, the convergence results cover the general setting where the number of local update steps across parties can vary. We demonstrate the benefits of Fed+ through extensive experiments across standard benchmark datasets as well as on a challenging real-world problem in financial portfolio management where the heterogeneity of party-level data can lead to training failure in standard federated learning approaches.

연구 동기 및 목표

• 클라이언트 간 비독립적 동일 분포(IID)를 가정하지 않고 비I-ID 데이터 및 이상치를 다루는 표준 피어드 학습의 한계를 해결하기 위해.
• 로컬 계산 구조를 유지하면서도 강력한 글로벌 집합을 가능하게 하는 통합 프레임워크를 개발하기 위해.
• 이질적인 데이터 및 변동하는 로컬 업데이트 단계 조건 하에서 볼록 및 비볼록 손실 함수에 대한 이론적 수렴 보장을 제공하기 위해.
• 추가 가정 없이 이질적인 계산 환경, 특히 느린 클라이언트를 포함한 환경에서도 지원하기 위해.
• 표준 피어드 학습이 실패하는 실제 응용 분야에서의 효과성을 입증하기 위해, 예를 들어 금융 포트폴리오 관리와 같은 분야에서

제안 방법

• Fed+는 로컬 모델 업데이트와 강력한 글로벌 집합을 분리하는 통합된 문제 정식화를 도입한다.
• 로컬 모델 업데이트에 대해 트림드 미디안 또는 중앙값 기반 기법과 같은 강력한 집합 기법을 적용하여 이상치 및 느린 클라이언트의 영향을 최소화한다.
• 프레임워크는 로컬 학습 구조를 그대로 유지하여 각 클라이언트가 수정 없이 표준 로컬 최적화를 수행할 수 있도록 한다.
• 변동하는 로컬 업데이트 단계를 포함한 일반적인 설정 하에서 볼록 및 비볼록 목표 함수에 대해 수렴이 이론적으로 보장된다.
• 데이터 이질성에 대한 통계적 가정을 요구하지 않아 다양한 피어드 환경에 넓게 적용 가능하다.

실험 결과

연구 질문

• RQ1 비독립적 동일 분포(IID)를 가정하지 않고도 클라이언트 간 데이터 이질성과 이상치에 강건한 통합 피어드 학습 프레임워크를 설계할 수 있는가?
• RQ2 로컬 계산 패턴을 유지하면서도 강력한 집합을 피어드 학습에 통합할 수 있는가?
• RQ3 비I-ID 데이터 및 변동하는 로컬 업데이트 횟수 조건 하에서 Fed+에 대해 어떤 이론적 수렴 보장을 확립할 수 있는가?
• RQ4 금융 포트폴리오 관리와 같이 극도로 이질적인 데이터를 가진 실제 응용 분야에서도 Fed+는 성능을 유지할 수 있는가?
• RQ5 느린 클라이언트 조건 하에서 표준 피어드 학습과 비교해 Fed+는 수렴성과 강건성 측면에서 어떻게 다른가?

주요 결과

• Fed+는 클라이언트 간 데이터 독립성 또는 동일한 분포를 가정하지 않고도 볼록 및 비볼록 손실 함수에 대해 수렴을 달성한다.
• 추가 가정 없이 이질적인 계산 환경에서 이상치 및 느린 클라이언트에 강건성을 유지한다.
• 기본 피어드 학습보다 벤치마크 데이터셋에서 성능이 뛰어나며, 특히 높은 데이터 이질성 조건 하에서 두각을 나타낸다.
• 금융 포트폴리오 관리 분야에서, 표준 피어드 학습이 극도로 높은 데이터 분산으로 인해 실패하는 상황에서도 Fed+는 성공적으로 모델을 훈련시킨다.
• 다양한 수의 로컬 업데이트 단계에서 안정적이고 신뢰할 수 있는 성능을 보이며, 실제 운영 환경에서의 강건성을 확인한다.