[논문 리뷰] Federated Multi-Task Learning under a Mixture of Distributions

Othmane Marfoq, Giovanni Neglia외 3명|arXiv (Cornell University)|2021. 08. 23.

Privacy-Preserving Technologies in Data참고 문헌 67인용 수 79

한 줄 요약

논문은 FedEM과 D-FedEM를 도입하며, 혼합 분포 가정 아래 개인화된 다중 작업 학습을 위한 페더레이티드 EM-유사 알고리즘으로서 수렴 보장과 최신 방법에 비해 정확도 및 공정성 향상의 증거를 제공합니다.

ABSTRACT

The increasing size of data generated by smartphones and IoT devices motivated the development of Federated Learning (FL), a framework for on-device collaborative training of machine learning models. First efforts in FL focused on learning a single global model with good average performance across clients, but the global model may be arbitrarily bad for a given client, due to the inherent heterogeneity of local data distributions. Federated multi-task learning (MTL) approaches can learn personalized models by formulating an opportune penalized optimization problem. The penalization term can capture complex relations among personalized models, but eschews clear statistical assumptions about local data distributions. In this work, we propose to study federated MTL under the flexible assumption that each local data distribution is a mixture of unknown underlying distributions. This assumption encompasses most of the existing personalized FL approaches and leads to federated EM-like algorithms for both client-server and fully decentralized settings. Moreover, it provides a principled way to serve personalized models to clients not seen at training time. The algorithms' convergence is analyzed through a novel federated surrogate optimization framework, which can be of general interest. Experimental results on FL benchmarks show that our approach provides models with higher accuracy and fairness than state-of-the-art methods.

연구 동기 및 목표

• 단일 글로벌 모델이 클라이언트 데이터의 이질성으로 인해 충분하지 않을 때 페더레이티드 학습의 필요성을 동기화한다.
• 각 클라이언트 분포가 M개의 기저 분포의 혼합으로 구성된 유연한 혼합 모델 가정을 제안한다.
• 공유 구성요소와 개인화된 혼합을 학습하기 위해 페더레이티드 EM-유사 알고리즘(FedEM 및 D-FedEM)을 개발한다.
• 페더레이티드 대리 최적화 프레임워크 내에서 수렴 보장을 제공한다.
• 기존의 개인화 및 비개인화 FL 방법들에 비해 정확도와 공정성 측면에서 실험적 우위를 보여준다.

제안 방법

• 생성적 혼합 모델을 채택한다: 각 클라이언트 분포는 M개의 기저 분포의 혼합으로 구성되며 공유 구성요소 모델을 가진다.
• 각 클라이언트의 예측기를 M개의 구성요소 모델의 가중합으로 표현하고, 클라이언트별로 학습 가능한 혼합 가중치를 부여한다.
• 학습을 음의 로그가능도 최소화 문제로 형식화하고, latent 할당을 계산하는 E-step과 혼합 가중치 및 구성요소 매개변수를 업데이트하는 M-step으로 페더레이티드 EM을 적용한다.
• 중앙집중식(클라이언트-서버) 및 분산식(완전 피어-투-피어) 구현인 FedEM 및 D-FedEM을 제공하고, 정점점 지점까지의 수렴 보장을 제시한다.
• 다양한 설정과 해법기에 대해 일반화되는 페더레이티드 대리 최적화 프레임워크에 접근법을 포함한다.

실험 결과

연구 질문

• RQ1 클라이언트 데이터가 이질적인 경우, 교차 클라이언트 데이터를 활용하여 개인화된 모델을 개선할 수 있는 조건은 무엇인가?
• RQ2 혼합 분포 가정이 데이터 로컬리티를 유지하면서 FL에서 원리적이고 확장 가능한 개인화를 가능하게 하는가?
• RQ3 EM-유사 페더레이티드 알고리즘은 정지점으로 수렴하고 보지 못한 클라이언트에 대한 일반화 가능성을 제공하는가?
• RQ4 제안된 프레임워크 하에서 중앙집중식 및 분산식 FL 아키텍처는 수렴 및 성능 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법들이 기존의 개인화 및 비개인화 FL 기준과 비교하여 정확도와 공정성 측면에서 개선을 제공하는가?

주요 결과

• FedEM 및 D-FedEM은 표준 가정 하에서 페더레이티드 목적함수의 정지점으로 수렴하며, 그래디언트 및 혼합 업데이트에 대한 수렴 속도가 정량적으로 제시된다.
• 혼합 분포 프레임워크는 구성요소 모델의 가중 합으로 개인화된 모델을 도출하여 클라이언트 간 지식 전달을 가능하게 한다.
• FL 벤치마크에서의 실험 결과는 최신의 개인화 및 비개인화 FL 방법들에 비해 정확도 및 공정성이 향상되었음을 보여준다.
• 테스트 시점에 구성요소를 고정하고 새로운 혼합 가중치를 학습함으로써 미지의 클라이언트에 대한 추론을 가능하게 한다.
• 페더레이티드 대리 최적화는 클라이언트-서버 및 분산 설정에서 제안된 EM-유사 알고리즘의 수렴 프레임워크를 하나로 연결해 준다.