[논문 리뷰] FedU: A Unified Framework for Federated Multi-Task Learning with Laplacian Regularization.

Canh T. Dinh, Tung T. Vu외 3명|arXiv (Cornell University)|2021. 02. 14.

Privacy-Preserving Technologies in Data참고 문헌 51인용 수 37

한 줄 요약

FedU는 클라이언트 간 관계를 명시적으로 모델링하기 위해 라플라시안 정규화를 사용하는 통합형 분산 다중작업 학습 프레임워크를 제안한다. 이는 다양한 FL 환경에서 성능 향상을 이끌어내며, 강凸성 목표 함수에서는 선형 수렴를, 비강凸성 목표 함수에서는 1/2 차수의 하위선형 수렴를 달성한다. 이는 FedAvg, MOCHA, pFedMe, Per-FedAvg를 능가한다.

ABSTRACT

Federated multi-task learning (FMTL) has emerged as a natural choice to capture the statistical diversity among the clients in federated learning. To unleash the potential of FMTL beyond statistical diversity, we formulate a new FMTL problem FedU using Laplacian regularization, which can explicitly leverage relationships among the clients for multi-task learning. We first show that FedU provides a unified framework covering a wide range of problems such as conventional federated learning, personalized federated learning, few-shot learning, and stratified model learning. We then propose algorithms including both communication-centralized and decentralized schemes to learn optimal models of FedU. Theoretically, we show that the convergence rates of both FedU's algorithms achieve linear speedup for strongly convex and sublinear speedup of order $1/2$ for nonconvex objectives. While the analysis of FedU is applicable to both strongly convex and nonconvex loss functions, the conventional FMTL algorithm MOCHA, which is based on CoCoA framework, is only applicable to convex case. Experimentally, we verify that FedU outperforms the vanilla FedAvg, MOCHA, as well as pFedMe and Per-FedAvg in personalized federated learning.

연구 동기 및 목표

• 기존 분산 학습 기법이 클라이언트별 통계적 다양성과 작업 간 관계를 포괄하지 못하는 한계를 해결하기 위해.
• 개인화된 FL, 소수의 샘플 학습, 계층적 학습과 같은 다양한 FL 패러다임을 하나의 프레임워크로 통합하기 위해.
• 클라이언트 유사성에 기반한 라플라시안 정규화를 활용해 확장 가능하고 통신 효율적인 알고리즘을 개발하기 위해.
• 기존 방법들인 MOCHA처럼 강凸성에 국한되지 않고, 강凸성 및 비강凸성 목표 함수 모두에 대해 이론적 수렴 보장을 수립하기 위해.

제안 방법

• 클라이언트 유사성 그래프에 대한 라플라시안 정규화 항을 도입하여 클라이언트 간 관계를 모델링하는 통합형 FMTL 설정인 FedU를 제안한다.
• 그래프 기반 정규화를 적용하여 유사한 클라이언트들이 지식을 공유하도록 유도함으로써 일반화 및 개인화 능력을 향상시킨다.
• FedU 목표를 해결하기 위한 중심화 및 분산형 최적화 알고리즘을 개발하여 다양한 통신 아키텍처를 지원한다.
• 강凸성 조건에서는 선형 수렴 속도를, 비강凸성 조건에서는 1/2 차수의 하위선형 수렴 속도를 도출하였으며, 이는 강凸성 및 비강凸성 손실 함수 모두에 적용 가능한 이론적 분석을 제공한다.
• 정규화된 목표 함수를 다루기 위해 원시-이중 최적화 접근법을 사용하여 클라이언트 간 효율적인 분산 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 기존 FL, 개인화된 FL, 소수의 샘플 학습, 계층적 학습을 하나의 최적화 목표로 효과적으로 통합할 수 있는가?
• RQ2 클라이언트 유사성에 대한 라플라시안 정규화가 분산 다중작업 학습에서 모델 성능과 수렴 속도를 어떻게 향상시키는가?
• RQ3 FedU의 이론적 수렴 성질은 강凸성 및 비강凸성 목표 함수 모두에서 어떻게 나타나며, 기존 방법들과 비교해 볼 때 어떠한가?
• RQ4 FedU는 pFedMe 및 Per-FedAvg와 같은 최신 기준 성능을 뛰어넘는 일반화 및 개인화 성능를 달성할 수 있는가?

주요 결과

• 강凸성 목표 함수에서는 FedU가 선형 수렴 속도를 확보하여 유리한 환경에서 최적의 확장성을 입증한다.
• 비강凸성 목표 함수에서는 1/2 차수의 하위선형 수렴 속도를 달성하여 경쟁력 있고 이론적으로 타당한 성능을 보인다.
• FedU의 이론적 분석는 강凸성 및 비강凸성 손실 함수 모두에 적용 가능하며, MOCHA처럼 강凸성에 국한되지 않는다.
• 실증 결과는 FedU가 개인화된 분산 학습 벤치마크에서 FedAvg, MOCHA, pFedMe, Per-FedAvg를 모두 능가함을 보여준다.