[논문 리뷰] Personalized Federated Learning with Gaussian Processes

Idan Achituve, Aviv Shamsian외 3명|arXiv (Cornell University)|2021. 06. 29.

Gaussian Processes and Bayesian Inference참고 문헌 90인용 수 11

한 줄 요약

이 논문은 데이터 이질성과 저데이터 환경을 해결하기 위해 가우시안 프로세스와 딥 커널 러닝을 결합한 개인화된 페더레이티드 러닝 프레임워크인 pFedGP를 제안한다. 클라이언트 간에 딥 네ural 네트워크 커널을 공유하면서도 클라이언트별로 고유의 GP 분류기 유지함으로써, CIFAR-10, CIFAR-100 및 CINIC-100 벤치마크에서 최신 기술 대비 최대 21%의 정확도 향상을 달성하며, 예측이 잘 校정되어 있고, 새로운 유도 점 방법을 통해 일반화 능력이 향상된다.

ABSTRACT

Federated learning aims to learn a global model that performs well on client devices with limited cross-client communication. Personalized federated learning (PFL) further extends this setup to handle data heterogeneity between clients by learning personalized models. A key challenge in this setting is to learn effectively across clients even though each client has unique data that is often limited in size. Here we present pFedGP, a solution to PFL that is based on Gaussian processes (GPs) with deep kernel learning. GPs are highly expressive models that work well in the low data regime due to their Bayesian nature. However, applying GPs to PFL raises multiple challenges. Mainly, GPs performance depends heavily on access to a good kernel function, and learning a kernel requires a large training set. Therefore, we propose learning a shared kernel function across all clients, parameterized by a neural network, with a personal GP classifier for each client. We further extend pFedGP to include inducing points using two novel methods, the first helps to improve generalization in the low data regime and the second reduces the computational cost. We derive a PAC-Bayes generalization bound on novel clients and empirically show that it gives non-vacuous guarantees. Extensive experiments on standard PFL benchmarks with CIFAR-10, CIFAR-100, and CINIC-10, and on a new setup of learning under input noise show that pFedGP achieves well-calibrated predictions while significantly outperforming baseline methods, reaching up to 21% in accuracy gain.

연구 동기 및 목표

• 개인화된 페더레이티드 러닝에서 클라이언트당 제한된 데이터와 데이터 이질성 문제를 해결한다.
• 표준 GPs가 저데이터 환경에서 한계를 보이므로, 클라이언트 간에 딥 커널 함수를 공유하면서도 클라이언트 고유의 개인화를 유지함으로써 이를 극복한다.
• 두 가지 새로운 유도 점 방법을 사용하여 페더레이티드 GP 학습에서 일반화 능력을 향상시키고 계산 비용을 감소시킨다.
• Pólya-Gamma 증강 기반의 새로운 PAC-Bayes 경계를 유도하여 새로운 클라이언트에 대해 비어 있지 않은 일반화 보장을 제공한다.
• 의료 등 안전이 중요한 애플리케이션에 적합한 잘 校정된 예측을 달성한다.

제안 방법

• 클라이언트 간에 공유되는 딥 네ural 네트워크를 사용해 커널 함수를 매개변수화하는 개인화된 페더레이티드 러닝 프레임워크인 pFedGP를 제안한다.
• 각 클라이언트의 데이터에 대해 Pólya-Gamma 증강을 적용한 GP 분류기를 적용하여 분류를 위한 효율적인 베이지안 추론을 가능하게 한다.
• 두 가지 새로운 유도 점 방법을 도입한다: 하나는 계산량을 늘리지 않고도 일반화 능력을 향상시키고, 다른 하나는 확장성을 위해 계산 비용을 감소시킨다.
• Pólya-Gamma 증강 기반의 새로운 PAC-Bayes 일반화 경계를 유도한다.
• 예측 분포와 마진럴 리크리얼리티를 모델 최적화의 대안 목적함수로 사용하며, 校정 이점에 대한 실증적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 공유된 딥 커널 함수가 데이터 부족 환경에서 개인화된 페더레이티드 러닝의 일반화 능력을 향상시킬 수 있는가?
• RQ2 유도 점 방법은 GP 기반의 페더레이티드 러닝에서 일반화 능력과 계산 효율성을 동시에 향상시키기 위해 어떻게 적응시킬 수 있는가?
• RQ3 PAC-Bayes 경계는 페더레이티드 GP 환경에서 새로운 클라이언트에 대해 의미 있는 비어 있지 않은 일반화 보장을 제공할 수 있는가?
• RQ4 pFedGP는 저데이터 및 이질적 데이터 환경에서 기존의 PFL 기반 모델보다 더 나은 校정 능력과 정확도를 달성하는가?
• RQ5 예측 목적함수와 마진럴 리크리얼리티 목적함수 간의 선택이 모델의 校정 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• pFedGP는 개인화된 페더레이티드 러닝 환경에서 CIFAR-10, CIFAR-100 및 CINIC-100 벤치마크에서 강력한 기반 모델 대비 최대 21%의 정확도 향상을 달성한다.
• 모델은 뛰어난 校정 능력을 보이며, 신뢰도 다이어그램 분석 결과 pFedGP는 온도 스케일링을 필요로 하지 않는데, 이는 내재된 校정 특성 덕분이다.
• PAC-Bayes 일반화 경계는 새로운 클라이언트에 대해 비어 있지 않은 보장을 제공하여 이론적 안정성을 입증한다.
• pFedGP-IP-data 버전은 테스트 시점에 클라이언트 학습 데이터를 제외한 커널 계산에서도 높은 정확도를 달성하여 개인 트리 구조의 효과를 입증한다.
• 마진럴 리크리얼리티 목적함수는 예측 분포 목적함수보다 더 잘 校정된 모델을 생성하지만, 정확도 측면에선 두 방법 간 유사한 성능을 보인다.
• 클래스 확률 기반 보정 항을 적용함으로써 클래스 불균형 데이터에서 성능이 향상되었으며, α=0.1 딜리트 분포 샘플링 조건에서 CIFAR-10에서 정확도가 83.7%에서 84.4%로 상승했다.