[논문 리뷰] Federated learning using mixture of experts

Edvin Listo Zec, John Martinsson외 3명|arXiv (Cornell University)|2021. 05. 04.

Privacy-Preserving Technologies in Data참고 문헌 8인용 수 7

한 줄 요약

이 논문은 데이터 이질성 문제를 해결하고 탈중앙화 학습에서의 프라이버시를 향상시키기 위해 전문화된 전문가 모음(MoE)을 사용하는 연합 학습 프레임워크를 제안한다. 국지적 전문가 모델과 글로벌 일반화 모델을 결합함으로써, 일부 클라이언트가 모델 공유에서 탈퇴하더라도 개인화 및 내성적 안정성을 향상시키며, 선택적 데이터 공개를 통해 엄격한 프라이버시를 유지한다.

ABSTRACT

Federated learning has received attention for its efficiency and privacy benefits,in settings where data is distributed among devices. Although federated learning shows significant promise as a key approach when data cannot be shared or centralized, current incarnations show limited privacy properties and have short-comings when applied to common real-world scenarios. One such scenario is heterogeneous data among devices, where data may come from different generating distributions. In this paper, we propose a federated learning framework using a mixture of experts to balance the specialist nature of a locally trained model with the generalist knowledge of a global model in a federated learning setting. Our results show that the mixture of experts model is better suited as a personalized model for devices when data is heterogeneous, outperforming both global and lo-cal models. Furthermore, our framework gives strict privacy guarantees, which allows clients to select parts of their data that may be excluded from the federation. The evaluation shows that the proposed solution is robust to the setting where some users require a strict privacy setting and do not disclose their models to a central server at all, opting out from the federation partially or entirely. The proposed framework is general enough to include any kind of machine learning models, and can even use combinations of different kinds.

연구 동기 및 목표

• 기기 간 데이터 분포의 이질성 문제를 다루지 못하는 현재의 연합 학습의 한계를 해결하기 위해.
• 국지적 전문가 모델과 글로벌 일반화 모델의 균형을 통해 모델 개인화를 향상시키기 위해.
• 클라이언트가 민감한 데이터나 모델을 중앙 집합적 집계에서 제외할 수 있도록 강력한 프라이버시 보장을 제공하기 위해.
• 모델 공유에서 부분적 또는 완전한 탈퇴를 포함한 탄력적인 클라이언트 참여를 지원하기 위해.
• 다양한 기계 학습 모델, 특히 서로 다른 아키텍처나 알고리즘의 조합을 포함한 일반화 가능한 프레임워크를 설계하기 위해.

제안 방법

• 프레임워크는 각 클라이언트가 자신의 데이터 분포에 맞게 트레이닝하는 국지적 전문가 모델을 갖는 전문화된 전문가 아키텍처를 사용한다.
• 글로벌 모델은 클라이언트 간 공유 지식을 제공하는 일반화 모델로 기능하며, 국지 전문가 모델은 기기별 데이터에 특화된다.
• 클라이언트는 모델 업데이트의 일부만 선택적으로 공유할 수 있어 민감한 데이터에 대한 엄격한 프라이버시를 확보할 수 있다.
• 입력 특성에 따라 가장 관련성이 높은 국지 전문가와 글로벌 모델을 동적으로 라우팅하는 시스템이다.
• 학습 과정은 각 클라이언트의 전문가 모델에서의 국지적 업데이트와 모델 업데이트의 글로벌 집합 간을 번갈아 수행하며, 미세한 프라이버시나 데이터 필터링을 통해 프라이버시를 유지한다.
• 프레임워크는 서로 다른 기기에서 서로 다른 아키텍처나 알고리즘을 사용하는 이질적 모델을 지원하여 모델 다양성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 클라이언트 간 데이터 이질성에 대해 연합 학습이 어떻게 더 내성적으로 만들 수 있는가?
• RQ2 전문화된 전문가 아키텍처가 프라이버시를 훼손하지 않으면서도 연합 학습의 개인화를 향상시킬 수 있는가?
• RQ3 일부 클라이언트가 모델 공유에서 완전히 또는 부분적으로 탈퇴할 경우 프레임워크는 어떻게 성능을 유지하는가?
• RQ4 선택적 데이터 공개가 모델 정확도와 수렴에 어떤 영향을 미치는가?
• RQ5 다양한 모델 유형을 클라이언트 간에 지원하면서도 시스템의 통합성을 유지할 수 있는가?

주요 결과

• 데이터 이질성 하에서 전문화된 전문가 모델은 전역 모델과 국지 모델 전용 모델보다 정확도에서 뛰어난 성능을 보이며, 뛰어난 개인화 능력을 입증한다.
• 일부 클라이언트가 모델을 중앙 집합적 집계에서 제외하더라도 프레임워크는 높은 성능을 유지하여 부분적 참여에 대한 내성성을 입증한다.
• 클라이언트는 민감하지 않은 부분만 선택적으로 공개함으로써 강력한 프라이버시를 확보할 수 있다.
• 시스템은 기기 간 이질적 모델 유형을 지원하여 탄력적이고 다양한 모델 통합을 가능하게 한다.
• 이 접근법은 일반화 가능하며, 다양한 아키텍처의 조합을 포함한 어떤 기계 학습 모델에도 적용 가능하다.
• 다양한 클라이언트 참여와 데이터 분포 조건에서도 학습의 수렴성과 안정성을 보장한다.