[논문 리뷰] Federated Gaussian Process: Convergence, Automatic Personalization and Multi-fidelity Modeling

Xubo Yue, Raed Al Kontar|arXiv (Cornell University)|2021. 11. 28.

Gaussian Processes and Bayesian Inference참고 문헌 76인용 수 4

한 줄 요약

이 논문은 페더레이티드 어霆리징(자기중심적 평균화)과 확률적 경사 하강법을 통해 가우시안 프로세스를 사용하여 기밀성 보장 및 분산 학습을 가능하게 하는 새로운 프레임워크인 페더럴 가우시안 프로세스 회귀(FGPR)를 제안한다. FGPR는 전역 로그우도의 임계점으로 수렴하며, 클라이언트 간의 전역 GP 사전분포를 함께 학습함으로써 강력한 개인화를 가능하게 하여 불확실성 정량화와 함께 다중 정밀도 모델링에서 최신 기술을 초월한다.

ABSTRACT

In this paper, we propose exttt{FGPR}: a Federated Gaussian process ($\mathcal{GP}$) regression framework that uses an averaging strategy for model aggregation and stochastic gradient descent for local client computations. Notably, the resulting global model excels in personalization as exttt{FGPR} jointly learns a global $\mathcal{GP}$ prior across all clients. The predictive posterior then is obtained by exploiting this prior and conditioning on local data which encodes personalized features from a specific client. Theoretically, we show that exttt{FGPR} converges to a critical point of the full log-likelihood function, subject to statistical error. Through extensive case studies we show that exttt{FGPR} excels in a wide range of applications and is a promising approach for privacy-preserving multi-fidelity data modeling.

연구 동기 및 목표

• 데이터 기밀성을 보존하면서 협업적 모델 학습을 가능하게 하는 가우시안 프로세스를 위한 페더럴 러닝 프레임워크를 개발하기 위해.
• 페더럴 GP 회귀 프레임워크가 전역 로그우도 함수의 임계점으로 수렴하는 이론적 수렴성을 확립하기 위해.
• 현지 클라이언트 데이터에 조건을 줌으로써 공유된 전역 GP 사전분포를 학습함으로써 자동 개인화를 가능하게 하기 위해.
• FGPR가 불확실성 정량화와 기밀성 보존을 동시에 고려한 다중 정밀도 데이터 모델링에서의 효과성을 입증하기 위해.

제안 방법

• FGPR는 클라이언트에서 온 로컬 모델 업데이트를 통합하기 위해 페더럴 어霆리징(FedAvg)을 사용한다.
• 로컬 클라이언트 계산은 데이터의 미니배치에서 확률적 경사 하강법(SGD)을 사용하여 수행된다.
• 전역 모델은 모든 클라이언트 간에 공유되는 GP 사전분포를 학습하며, 이후 현지 데이터에 조건을 줌으로써 개인화된다.
• 이론적 분석을 통해 커널 고유분해 조건(예: 마테른, RBF 커널) 하에서 전체 로그우도의 임계점으로의 수렴이 입증된다.
• 편향된 미니배치 기울기 방지를 위해 상관관계가 있는 데이터 포인트들을 처리하기 위해 공동 가우시안 프로세스 설정을 사용한다.
• 클라이언트의 미니배치 크기와 커널 성질에 기반한 통계 오차 경계가 유도된다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스는 모든 데이터 포인트 간 상관관계를 내재적으로 모델링하기 때문에, 페더럴 러닝이 이를 성공적으로 확장할 수 있는가?
• RQ2 실제 가정 조건 하에서 제안된 FGPR 프레임워크가 전역 로그우도 함수의 임계점으로 수렴하는가?
• RQ3 공유된 전역 GP 사전분포를 학습하고 현지 데이터에 조건을 줌으로써 FGPR이 효과적인 개인화를 달성할 수 있는가?
• RQ4 최신 기술 대비 FGPR은 다중 정밀도 모델링에서 어떻게 성능을 내는가?
• RQ5 미니배치 크기와 커널 구조는 FGPR의 통계 오차와 수렴에 어떤 영향을 미치는가?

주요 결과

• FGPR는 전체 로그우도 함수의 임계점으로 수렴하며, 수렴 오차는 미니배치 크기에 따라 달라지는 통계적 변동에 의해 제한된다.
• 클라이언트의 현지 데이터에 조건을 줌으로써 개선된 전역 GP 사전분포를 학습함으로써 강력한 개인화를 달성한다.
• FGPR는 불확실성 정량화와 데이터 효율성 측면에서 기존 방법들을 능가하는 뛰어난 성능을 보인다.
• 지수 또는 다항식 고유분해를 가지는 커널, 즉 마테른 및 RBF 커널에 대해서도 이론적 수렴이 성립한다.
• 수렴 오차의 통계 오차는 $\frac{\log M}{M}$ 비례하는 항들로 제한되며, 여기서 $M$은 클라이언트당 데이터 포인트 수이다.
• 이 분석은 페더럴 러닝을 경험적 리스크 최소화를 넘어서 상관관계를 가지는 확률적 과정인 GP에까지 이론적으로 확장하는 최초의 결과를 제공한다.