[논문 리뷰] Specialized federated learning using a mixture of experts

Edvin Listo Zec, Olof Mogren외 3명|arXiv (Cornell University)|2020. 10. 05.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 15

한 줄 요약

이 논문은 이질적이고 비독립적 동일분포(Non-IID) 데이터 환경에서 개인화되고 프라이버시를 보장하는 학습을 가능하게 하기 위해 글로벌 모델과 클라이언트별 로컬 전문가 모델을 결합한 피어드 미스쳐 오브 응용( FedMoE) 프레임워크를 제안한다. 입력에 따라 전문가를 동적으로 가중치를 부여하는 게이팅 함수를 사용함으로써, FedMoE는 피넷 투닝된 모델과 유사한 로컬 성능을 달성하면서도 일반화 성능에서 뚜렷이 뛰어나며, 높은 클라이언트 이탈률 조건에서도 성능을 유지한다.

ABSTRACT

In federated learning, clients share a global model that has been trained on decentralized local client data. Although federated learning shows significant promise as a key approach when data cannot be shared or centralized, current methods show limited privacy properties and have shortcomings when applied to common real-world scenarios, especially when client data is heterogeneous. In this paper, we propose an alternative method to learn a personalized model for each client in a federated setting, with greater generalization abilities than previous methods. To achieve this personalization we propose a federated learning framework using a mixture of experts to combine the specialist nature of a locally trained model with the generalist knowledge of a global model. We evaluate our method on a variety of datasets with different levels of data heterogeneity, and our results show that the mixture of experts model is better suited as a personalized model for devices in these settings, outperforming both fine-tuned global models and local specialists.

연구 동기 및 목표

• 이질적이고 비독립적 동일분포 클라이언트 데이터를 가진 피어드 환경에서 개인화된 모델 학습의 과제를 해결하기 위해.
• 로컬 피넷 투닝 모델보다 뛰어난 일반화 성능을 확보하면서도 높은 로컬 정확도를 유지하기 위해.
• 클라이언트가 피어드 앙상블에 참여하지 않아도 되도록 함으로써 강력한 프라이버시 보장을 가능하게 하기 위해.
• 모든 기울기 기반 모델과 호환되며 다양한 클라이언트 참여 수준을 지원하는 유연한 프레임워크를 개발하기 위해.
• 다양한 데이터 이질성과 이탈 조건에서 이미지 및 텍스트 분류 작업에 대해 방법을 평가하기 위해.

제안 방법

• 각 클라이언트별로 믹스처 오브 응용을 사용하며, 글로벌 모델과 로컬 전문가 모델을 결합하고 클라이언트별 게이팅 함수를 통해 전문가 출력의 가중치를 조정한다.
• 글로벌 모델은 모든 클라이언트의 데이터를 사용해 FedAvg로 먼저 훈련된 후, 로컬 전문가 모델은 글로벌 모델에서 초기화되어 로컬 데이터에서 훈련된다.
• 전체 믹스처는 로컬 전문가 모델, 글로벌 모델, 클라이언트별 게이팅 함수를 포함해 공동으로 피넷 투닝된다.
• 게이팅 함수는 입력 특징에 따라 가장 적합한 전문가(글로벌 또는 로컬)로 입력을 라우팅함으로써 적응형 개인화를 가능하게 한다.
• 클라이언트는 피어드 앙상블에 완전히 참여하지 않을 수 있으며, 이 경우 데이터를 보호하면서도 추론을 위해 글로벌 모델에 액세스할 수 있다.
• 이 방법은 모든 미분 가능한 기계학습 모델과 호환되며, 다양한 모델의 앙상블을 지원한다.

실험 결과

연구 질문

• RQ1 피어드 믹스처 오브 응용 프레임워크는 로컬 피넷 투닝 모델보다 뛰어난 일반화 성능을 달성하면서도 높은 로컬 성능을 유지할 수 있는가?
• RQ2 클라이언트 이탈률이 높은 상황에서, 즉 일부 클라이언트만 글로벌 모델 업데이트에 기여할 때 제안된 방법의 성능은 어떠한가?
• RQ3 믹스처 오브 응용 접근법은 우선 확률 이질성과 같은 다양한 유형의 데이터 이질성에서 잘 일반화되는가?
• RQ4 IID 및 비IID 데이터 환경에서 믹스처 오브 응용의 성능은 FedAvg와 비교해 어떻게 되는가?
• RQ5 실제 피어드 환경에서 효과적인 개인화를 가능하게 하면서도 강력한 프라이버시 보장을 유지할 수 있는가?

주요 결과

• FedMoE 모델은 모든 데이터셋에서 글로벌 테스트 세트에서 피넷 투닝된 로컬 모델보다 뛰어난 일반화 성능를 보이며, 로컬 성능는 그에 맞추어진다.
• CIFAR-10, AG News, Fashion-MNIST에서 믹스처 오브 응용은 피넷 투닝 기반선보다 글로벌 테스트 정확도가 항상 FedAvg에 더 가까웠으며, 특히 높은 데이터 이질성 조건에서 두드러졌다.
• 90% 및 95%의 클라이언트 이탈률 조건에서도 FedMoE 모델은 강력한 일반화 성능를 유지했으며, 글로벌 테스트 세트에서 피넷 투닝 기반선을 뛰어넘었다.
• IID 조건(p=0.2)에서 믹스처 오브 응용은 일반화 성능에서 FedAvg를 초월하기까지 했으며, 낮은 참여율에 대한 강건성을 보였다.
• 이 방법은 피넷 투닝 모델과 유사한 로컬 테스트 정확도를 달성했으며, 개인화가 로컬 성능에 손해를 주지 않음을 입증했다.
• 다양한 딜레트 분포 α 값과 주로 발생하는 클래스 비율을 통해 데이터 이질성의 다양한 수준에 대해 프레임워크가 강건함을 입증했다.