[논문 리뷰] Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning

Naichen Shi, Fan Lai외 2명|arXiv (Cornell University)|2021. 07. 21.

Privacy-Preserving Technologies in Data참고 문헌 40인용 수 14

한 줄 요약

Fed-ensemble는 무작위 순열 기반의 클라이언트 할당을 통해 K개의 모델을 훈련하고 앙상블화함으로써 통신 오버헤드 없이 모델 평균화를 가능하게 하는 새로운 피어드 학습 프레임워크를 제안한다. 이론적으로는 신경 터널링 커널(Neural Tangent Kernel, NTK) 영역에서 모든 K개의 모델이 동일한 예측 사후분포에서 표본을 추출함을 증명하여, 앙상블의 분산 감소 및 일반화 성능 향상 효과를 정당화한다.

ABSTRACT

In this paper we propose Fed-ensemble: a simple approach that bringsmodel ensembling to federated learning (FL). Instead of aggregating localmodels to update a single global model, Fed-ensemble uses random permutations to update a group of K models and then obtains predictions through model averaging. Fed-ensemble can be readily utilized within established FL methods and does not impose a computational overhead as it only requires one of the K models to be sent to a client in each communication round. Theoretically, we show that predictions on newdata from all K models belong to the same predictive posterior distribution under a neural tangent kernel regime. This result in turn sheds light onthe generalization advantages of model averaging. We also illustrate thatFed-ensemble has an elegant Bayesian interpretation. Empirical results show that our model has superior performance over several FL algorithms,on a wide range of data sets, and excels in heterogeneous settings often encountered in FL applications.

연구 동기 및 목표

• 데이터 이질성과 신뢰할 수 없는 클라이언트 상황에서 피어드 학습의 높은 분산과 과적합 문제를 해결하기 위해.
• 클라이언트의 계산 및 통신 부담을 증가시키지 않고 기존 FL 방법의 일반화 성능을 향상시키기 위해.
• 오버파라미터라이제이션 영역에서 신경 터널링 커널(NTK) 프레임워크를 활용해 FL에서의 모델 앙상블에 대한 이론적 기반을 제공하기 위해.
• 피어드 학습 환경에서 앙상블 예측 과정에 대한 베이지안 해석을 수립하기 위해.
• 다양하고 이질적인 피어드 학습 벤치마크 데이터셋에서 제안된 방법의 실증적 우수성을 입증하기 위해.

제안 방법

• Fed-ensemble는 K개의 독립적인 글로벌 모델을 유지하며, 각 모델은 표준 피어드 평균화 방식으로 업데이트되지만 클라이언트 할당을 무작위 순열을 통해 수행하여 모델 간 다양성을 확보한다.
• 각 통신 라운드에서 클라이언트에게 전송되는 모델은 K개 중 하나뿐이므로 통신 오버헤드를 최소화한다.
• 최종 예측은 모든 K개 모델의 출력을 평균내어 분산 감소를 위한 앙상블 평균화를 활용한다.
• 이론적 분석을 통해 오버파라미터라이제이션 영역에서 NTK 프레임워크 하에 모든 K개 모델의 예측이 동일한 극한 가우시안 프로세스에서 표본을 추출함을 보여주었다.
• 이 방법은 베이지안 해석이 가능하며, 앙상블 평균은 사후 예측 분포에 해당한다.
• 이 프레임워크는 기존의 FL 개선 기법들(FedProx, FedAdam 등)과 수직적(orthogonal)이므로 통신 효율적 또는 강건한 집계 기법과의 통합이 가능하다.

실험 결과

연구 질문

• RQ1 데이터 이질성 하에서 모델 앙상블이 피어드 학습의 일반화 성능 향상에 기여할 수 있는가?
• RQ2 피어드 학습에서의 앙상블이 예측 분산 감소와 더불어 강건성 향상에 기여하는가?
• RQ3 오버파라미터라이제이션 영역에서 신경 터널링 커널(NTK) 프레임워크 하에 모델 평균화의 이론적 이점이 정당화될 수 있는가?
• RQ4 피어드 학습 맥락에서 앙상블 예측의 베이지안 해석은 무엇인가?
• RQ5 Fed-ensemble는 이질적인 데이터 환경에서 최신의 피어드 학습 알고리즘과 비교해 실증적으로 어떻게 성능을 냈는가?

주요 결과

• Fed-ensemble는 비아이디얼(non-IID) 및 이질적인 데이터 분포를 포함한 다양한 벤치마크 데이터셋에서 FedAvg 및 기타 기준 FL 알고리즘보다 뛰어난 테스트 정확도를 달성한다.
• 이질적인 환경에서 예측 분산을 크게 감소시켜 데이터 왜곡과 클라이언트 탈락에 대한 강건성을 향상시킴을 입증하였다.
• 이론적 분석을 통해 오버파라미터라이제이션 영역에서 모든 K개의 모델이 동일한 극한 가우시안 프로세스에서 표본을 추출함을 확인하여, 평균화의 일반화 성능 향상 효과를 정당화하였다.
• 앙상블 예측 과정은 자연스러운 베이지안 해석을 가지며, 평균은 사후 예측 분포에 해당함을 입증하였다.
• 통신 비용이 추가로 발생하지 않으며, 각 라운드당 클라이언트 한 명에게 하나의 모델만 전송되기 때문에 효율성이 유지된다.
• 실증 결과는 FedProx나 FedAdam과 같은 다른 최적화 기법과 결합된 경우에도 Fed-ensemble이 기존 방법들을 능가함을 보여주었다.