[논문 리뷰] Adapt to Adaptation: Learning Personalization for Cross-Silo Federated Learning

Jun Luo, Shandong Wu|arXiv (Cornell University)|2021. 10. 15.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 데이터나 글로벌 모델 업데이트를 공유하지 않으면서도 각 클라이언트가 다른 클라이언트의 모델에서 얼마나 이익을 얻는지를 결정하기 위해 클라이언트별로 적응적으로 학습하는 방향성 관계(DRs)를 학습하는 개인화된 크로스실 페더레이티드 러닝 프레임워크 APPLE을 제안한다. 동적으로 패널티를 적용함으로써 APPLE은 글로벌 및 로컬 학습 목표 간의 유연한 균형을 이루며, 제한된 통신 예산 하에서 비아이디어(non-IID) 벤치마크 및 의료 영상 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Conventional federated learning (FL) trains one global model for a federation of clients with decentralized data, reducing the privacy risk of centralized training. However, the distribution shift across non-IID datasets, often poses a challenge to this one-model-fits-all solution. Personalized FL aims to mitigate this issue systematically. In this work, we propose APPLE, a personalized cross-silo FL framework that adaptively learns how much each client can benefit from other clients' models. We also introduce a method to flexibly control the focus of training APPLE between global and local objectives. We empirically evaluate our method's convergence and generalization behaviors, and perform extensive experiments on two benchmark datasets and two medical imaging datasets under two non-IID settings. The results show that the proposed personalized FL framework, APPLE, achieves state-of-the-art performance compared to several other personalized FL approaches in the literature. The code is publicly available at https://github.com/ljaiverson/pFL-APPLE.

연구 동기 및 목표

• 비아이디어(non-IID) 데이터 분포로 인해 글로벌 모델 성능이 떨어지는 크로스실 페더레이티드 러닝 환경에서 데이터 이질성 문제를 해결한다.
• 다른 클라이언트의 데이터 분포를 알지 못해도 되는 클라이언트 중심의 접근 방식을 개발하여 모델을 개인화한다.
• 학습 가능한 방향성 관계(DRs)를 통해 각 클라이언트가 다른 클라이언트의 모델에서 얼마나 이익을 얻을 수 있는지에 따라 적응적인 개인화를 실현한다.
• 모든 개인화 모델이나 원시 데이터를 공유하지 않고 핵심 모델과 DR 벡터만 전송함으로써 프라이버시 위험을 줄인다.
• 유능한 모델을 다운로드할 수 있도록 지능적으로 선택하는 방식으로, 제한된 통신 예산 하에서도 강력한 일반화 및 수렴 성능을 달성한다.

제안 방법

• 각 클라이언트는 다른 클라이언트로부터 다운로드한 핵심 모델을 가중치로 부여하는 학습 가능한 DR 벡터와 함께 핵심 모델을 사용하여 로컬 개인화 모델을 훈련한다.
• 클라이언트는 서버에 오직 자신의 핵심 모델만 업로드하며, 서버는 이를 수정 없이 저장하고 배포한다.
• 각 클라이언트의 DR 벡터는 글로벌 및 로컬 학습 목표 간 균형을 동적으로 제어하는 프록시 패널티를 통해 학습된다.
• DR 학습 과정은 데이터 분포가 유사한 클라이언트의 핵심 모델을 우선순위로 삼고, 덜 관련성 있거나 해로운 모델은 억제함으로써 클라이언트가 핵심 모델을 효과적으로 선택하도록 보장한다.
• 동적 패널티 메커니즘은 훈련 중 글로벌 공감과 클라이언트별 개인화 간의 민감한 트레이드오프를 가능하게 한다.
• 프레임워크는 DR 벡터나 개인화 모델을 공유하지 않아 클라이언트의 프라이버시를 유지한다.

실험 결과

연구 질문

• RQ1 크로스실 환경에서 심각한 데이터 이질성을 다루기 위해 페더레이티드 러닝을 어떻게 적응시킬 수 있는가? 이때 프라이버시는 손상되지 않도록 해야 한다.
• RQ2 다른 클라이언트의 데이터 분포에 대한 정보 없이도 클라이언트에 관계없이 적용 가능한 모델 적응 전략을 학습할 수 있는가?
• RQ3 적응적인 모델 개인화가 비아이디어 페더레이티드 러닝에서 일반화 및 수렴 성능을 얼마나 향상시킬 수 있는가?
• RQ4 통신 제약 조건 하에서 제안된 프레임워크의 성능은 어떠한가?
• RQ5 강력한 프라이버시 보장을 유지하면서도 최신 기술 성능을 달성할 수 있는가?

주요 결과

• APPLE는 두 가지 비아이디어(non-IID) 설정 하에서 벤치마크(CIFAR10, PathMNIST) 및 의료 영상 데이터셋(OrganMNIST, PathMNIST)에서 모두 최신 기술 성능(SOTA)을 달성했다.
• 병리적 비아이디어(non-IID) 설정에서 APPLE은 CIFAR10에서 FedFomo(93.55% 대 83.35%)와 OrganMNIST(axial)에서 FedFomo(98.52% 대 91.54%)를 앞섰지만, PathMNIST에서는 FedFomo가 더 우수한 성능을 보였다.
• 실제 비아이디어(non-IID) 설정에서 APPLE은 모든 데이터셋에서 FedFomo를 일관되게 앞섰으며, 낮은 통신 예산(예: M=1)에서도 마찬가지였다.
• 제한된 통신(M=1) 조건에서도 APPLE은 높은 성능을 유지했으며, 이는 DR을 통한 지능적인 모델 선택이 많은 모델 다운로드가 필요로 하지 않음을 시사한다.
• DR 시각화 결과, 클라이언트들이 유사한 데이터 분포를 가진 클라이언트의 핵심 모델에 더 높은 가중치를 할당하는 것으로 확인되어, 적응적 학습 메커니즘이 효과적으로 작동함을 검증했다.
• 자기 관계(p_i,i)가 다른 DR보다 항상 높게 유지되어, 각 클라이언트가 자신의 핵심 모델을 우선순위로 삼고 있음을 확인했다.