[논문 리뷰] Federated Mutual Learning

Tao Shen, Jie Zhang외 7명|arXiv (Cornell University)|2020. 06. 27.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 71

한 줄 요약

Federated Mutual Learning (FML)은 데이터, 목표, 모델 이질성을 연합 학습 설정에서 다루며 심층 상호 학습을 사용하여 일반화된 글로벌 모델과 개인화된 로컬 모델의 동시 학습을 가능하게 합니다. 로컬 meme 및 개인화 모델은 상호 지식 증류를 통해 업데이트하고 meme 모델을 모아 새로운 글로벌 모델을 형성합니다.

ABSTRACT

Federated learning (FL) enables collaboratively training deep learning models on decentralized data. However, there are three types of heterogeneities in FL setting bringing about distinctive challenges to the canonical federated learning algorithm (FedAvg). First, due to the Non-IIDness of data, the global shared model may perform worse than local models that solely trained on their private data; Second, the objective of center server and clients may be different, where center server seeks for a generalized model whereas client pursue a personalized model, and clients may run different tasks; Third, clients may need to design their customized model for various scenes and tasks; In this work, we present a novel federated learning paradigm, named Federated Mutual Leaning (FML), dealing with the three heterogeneities. FML allows clients training a generalized model collaboratively and a personalized model independently, and designing their private customized models. Thus, the Non-IIDness of data is no longer a bug but a feature that clients can be personally served better. The experiments show that FML can achieve better performance than alternatives in typical FL setting, and clients can be benefited from FML with different models and tasks.

연구 동기 및 목표

• 데이터 비 IID성, 서버-클라이언트 목표 불일치, 그리고 모델 이질성이라는 세 가지 이질성 하에서 연합 학습의 동기를 부여합니다.
• 맞춤형 아키텍처를 갖춘 일반화된 글로벌 모델과 맞춤형 로컬 모델을 훈련하는 유연한 FL 프레임워크(FML)를 제안합니다.
• 로컬 업데이트 중 meme(글로벌 고정)와 개인화 모델 간의 양방향 지식 전달을 가능하게 하려면 깊은 상호 학습을 활용합니다.
• 글로벌 meme 모델이 학습한 공유 표현을 통한 협업의 혜택을 받으면서도 자체 맞춤형 모델을 설계할 수 있도록 클라이언트의 자유를 허용합니다.]
• method':['각 클라이언트당 현재 글로벌 모델에서 분기된 meme 모델과 클라이언트 특화 개인화 모델의 두 모델 로컬 구성을 도입합니다.','로컬 업데이트 메커니즘으로 심층 상호 학습(DML)을 적용하고, meme와 개인화 모델 간의 양방향 KL-발산 기반 증류를 수행합니다.','로컬 업데이트 손실을 정의합니다: L_local = alpha * L_C_local + (1 - alpha) * KL(p_meme || p_local); L_meme = beta * L_C_meme + (1 - beta) * KL(p_local || p_meme).','각 라운드에서 클라이언트는 비공개 데이터에 대해 DML로 meme 및 개인화 모델을 업데이트한 후, meme 모델들을 서버로 보내 meme 모델의 간단 평균 집계를 통한 글로벌 차원으로의 집계를 수행합니다.','수렴 시 글로벌 모델은 결합된 데이터에 대한 일반화 모델을 나타내고, 개인화 모델은 여전히 클라이언트에 남아 로컬 분포에 맞춰 조정됩니다.','집계에서 샘플 수 가중치를 제거하고 각 클라이언트를 동등하게 취급함으로써 프라이버시 및 공정성 고려를 논의합니다.]
• research_questions':['데이터 비 IID성에 견고하면서도 개인화된 로컬 모델을 여전히 제공할 수 있는 방법은 무엇입니까?','상호 지식 전달이 있는 두 모델 로컬 업데이트가 표준 FedAvg 변형에 비해 글로벌 일반화와 로컬 개인화를 개선합니까?','클라이언트 간 다른 아키텍처 등 모델 이질성이 Federated Mutual Learning에서 성능에 어떤 영향을 미칩니까?','훈련 중 데이터 기반 학습과 지식 전달의 균형을 위한 최적의 alpha 및 beta 설정은 무엇입니까?','집계에서 샘플 수 가중치를 포기하는 프라이버시 및 공정성 측면은 어떤 영향이 있습니까?]
• key_findings':['FML은 일반적으로 IID 및 비 IID 데이터에서 여러 모델 계열 간의 일반적인 FL 설정에서 FedAvg 및 FedProx보다 우수한 성능을 보입니다.','DML 기반 로컬 업데이트는 KL 발산을 통한 강력한 정규화 효과를 제공하여 비 IID 데이터에서 더 안정적인 학습 궤적을 가능하게 합니다.','다른 작업이나 아키텍처를 가진 클라이언트도 글로벌 meme 모델이 학습한 공유 표현으로부터 이익을 얻어 모델 이질성을 지원합니다.','개인화 모델은 독립성을 유지하고 비공개 데이터에서 계속 학습하는 반면 meme 모델은 전 세계적으로 집계되어 글로벌 모델의 다음 세대를 형성합니다.','n_k/n 가중치를 제거하고 모든 클라이언트를 동등하게 다루면 프라이버시 및 공정성 고려가 강화되며, 많은 설정에서 성능에 거의 영향을 미치지 않습니다.]
• table_headers:[]
• table_rows:[]}]} {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• }} ے
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {
• } {

실험 결과

연구 질문

• RQ1 How can federated learning be robust to data non-IIDness while still serving personalized local models?
• RQ2 Can a two-model local update with mutual knowledge transfer improve both global generalization and local personalization compared to standard FedAvg variants?
• RQ3 How does model heterogeneity (different architectures across clients) impact performance under Federated Mutual Learning?
• RQ4 What are the optimal alpha and beta settings for balancing data-driven learning and knowledge transfer during training?
• RQ5 What are the privacy and fairness implications of abandoning sample-count weighting in aggregation?

주요 결과

• FML generally outperforms FedAvg and FedProx in typical FL settings across IID and non-IID data across multiple model families.
• DML-based local updates provide a strong regularizer via KL divergence, yielding steadier training trajectories under non-IID data.
• Clients with different tasks or architectures can benefit from a shared representation learned by the global meme model, supporting model heterogeneity.
• Personalized models retain independence and continue learning on private data, while meme models aggregate globally to form the next generation of the global model.
• Removing the n_k/n weighting and using equal client treatment can enhance privacy and fairness considerations, with negligible impact on performance in many settings.