[논문 리뷰] Fusion of Global and Local Knowledge for Personalized Federated Learning

Tiansheng Huang, Li Shen외 3명|arXiv (Cornell University)|2023. 02. 21.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 개인화된 피어드 학습(PFL)에서 저차원 전역 지식 표현(GKR)과 희소 개인화된 구성요소를 융합하는 두 단계의 프락시 알고리즘인 FedSLR를 제안한다. 모델을 압축된 저차원 전역 및 희소 국소 구성요소로 분해함으로써 FedSLR는 개인화된 작업에서 최신 기술 성능을 달성하며, 모델 파라미터를 40.11% 감소시키고 다운링크 통신을 38.34% 줄였다. 이와 동시에 이론적으로 정류점으로의 하위선형 수렴을 보장한다.

ABSTRACT

Personalized federated learning, as a variant of federated learning, trains customized models for clients using their heterogeneously distributed data. However, it is still inconclusive about how to design personalized models with better representation of shared global knowledge and personalized pattern. To bridge the gap, we in this paper explore personalized models with low-rank and sparse decomposition. Specifically, we employ proper regularization to extract a low-rank global knowledge representation (GKR), so as to distill global knowledge into a compact representation. Subsequently, we employ a sparse component over the obtained GKR to fuse the personalized pattern into the global knowledge. As a solution, we propose a two-stage proximal-based algorithm named extbf{Fed}erated learning with mixed extbf{S}parse and extbf{L}ow- extbf{R}ank representation (FedSLR) to efficiently search for the mixed models. Theoretically, under proper assumptions, we show that the GKR trained by FedSLR can at least sub-linearly converge to a stationary point of the regularized problem, and that the sparse component being fused can converge to its stationary point under proper settings. Extensive experiments also demonstrate the superior empirical performance of FedSLR. Moreover, FedSLR reduces the number of parameters, and lowers the down-link communication complexity, which are all desirable for federated learning algorithms. Source code is available in \url{https://github.com/huangtiansheng/fedslr}.

연구 동기 및 목표

• 비독립 동일 분포(Non-IID) 데이터 하에서 개인화된 피어드 학습(PFL)에서 전역 지식 표현과 개인화된 패턴 학습 간의 균형을 맞추는 데 도전한다.
• 개인화된 모델을 저차원 및 희소 구성요소로 분해하여 PFL에서 모델 및 통신 복잡도를 줄인다.
• 로컬 모델의 과도한 파라미터화를 방지하면서 전역 지식과 개인화된 지식을 최적의 방식으로 융합하는 방법을 설계한다.
• 전역 지식 표현과 개인화된 구성요소에 대한 수렴 보장을 이론적으로 확립한다.
• 실세계 피어드 학습 환경에서 뛰어난 성능, 파라미터 효율성, 통신 감소를 경험적으로 검증한다.

제안 방법

• 개인화된 모델의 저차원 및 희소 분해를 제안하며, 전역 구성요소는 저차원 표현(GKR)이고 개인화된 구성요소는 희소하다.
• GKR와 희소 구성요소에 대해 별도의 정규화를 적용하여 압축성과 표현력을 강화한다.
• 전역 및 개인화된 구성요소를 번갈아 최적화하는 두 단계의 프락시 기반 알고리즘인 FedSLR를 도입한다.
• 수렴 안정성을 보장하기 위해 적응형 학습률을 사용하는 프락시 업데이트 규칙을 적용한다.
• 행렬 분해를 적용하여 GKR와 혼합 모델을 압축함으로써 파라미터 수를 감소시킨다.
• 다운링크 트래픽을 줄이기 위해 압축된 GKR과 희소 업데이트만 전송하는 통신 효율적인 학습 메커니즘을 설계한다.

실험 결과

연구 질문

• RQ1 비독립 동일 분포(Non-IID) 피어드 환경에서 저차원 전역 지식 표현(GKR)이 클라이언트 간 공유 지식을 효과적으로 포괄할 수 있는가?
• RQ2 희소 구성요소가 파라미터 공간을 지배하지 않으면서도 개인화된 패턴을 효율적으로 표현할 수 있는가?
• RQ3 저차원 GKR와 희소 개인화를 융합하면 기존의 PFL 방법보다 더 뛰어난 성능을 낼 수 있는가?
• RQ4 제안된 FedSLR 알고리즘이 전역 및 개인화된 구성요소 모두에 대해 정류점으로의 이론적 수렴을 달성할 수 있는가?
• RQ5 이러한 분해를 통해 모델 압축과 통신 효율성을 어느 정도 향상시킬 수 있는가?

주요 결과

• CIFAR-100에서 GKR 모델은 FedAvg보다 7.23% 높은 정확도를 기록하여 뛰어난 전역 지식 표현 능력을 입증했다.
• FedSLR의 혼합 모델은 개인화된 작업에서 이전 최신 기술인 Ditto보다 3.52% 높은 정확도를 달성했다.
• GKR 모델은 프루닝되지 않은 베이스라인 대비 파라미터를 50.40% 감소시켰고, 전체 혼합 모델은 파라미터를 40.11% 감소시켰다.
• 압축된 모델 전송 덕분에 매 피어드 학습 라운드당 다운링크 통신이 38.34% 감소했다.
• 이론적 분석을 통해 적절한 설정 하에서 GKR의 하위선형 수렴과 희소 구성요소의 정류점 수렴이 확인되었다.
• 경험적 결과는 이 방법이 모델 및 통신 오버헤드를 크게 줄이면서도 높은 성능을 유지함을 보여주었다.