[논문 리뷰] FLIS: Clustered Federated Learning via Inference Similarity for Non-IID Data Distribution

Mahdi Morafah, Saeed Vahidian외 2명|arXiv (Cornell University)|2022. 08. 20.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FLIS는 비독립 동일 분포(Non-IID) 데이터 분포 하에서 개인화되고 효율적인 훈련을 가능하게 하는 새로운 군집화된 분산 학습 프레임워크를 제안한다. 이는 클라이언트의 모델 추론 유사도를 기반으로 클라이언트를 군집화하며, 비밀 데이터에 접근하지 않으면서도 서버 측 추론 유사도를 활용한다. 이로 인해 기존 최고 수준의 글로벌 FL보다 최대 40% 높은 정확도를 달성하고, 최고 수준의 개인화된 FL보다 최대 30% 높은 정확도를 기록한다. 또한 사전에 클러스터 수를 정의하지 않아도 되며, 새로운 클라이언트의 참여와 적응형 군집화를 지원한다.

ABSTRACT

Classical federated learning approaches yield significant performance degradation in the presence of Non-IID data distributions of participants. When the distribution of each local dataset is highly different from the global one, the local objective of each client will be inconsistent with the global optima which incur a drift in the local updates. This phenomenon highly impacts the performance of clients. This is while the primary incentive for clients to participate in federated learning is to obtain better personalized models. To address the above-mentioned issue, we present a new algorithm, FLIS, which groups the clients population in clusters with jointly trainable data distributions by leveraging the inference similarity of clients' models. This framework captures settings where different groups of users have their own objectives (learning tasks) but by aggregating their data with others in the same cluster (same learning task) to perform more efficient and personalized federated learning. We present experimental results to demonstrate the benefits of FLIS over the state-of-the-art benchmarks on CIFAR-100/10, SVHN, and FMNIST datasets. Our code is available at https://github.com/MMorafah/FLIS.

연구 동기 및 목표

• 비독립 동일 분포(Non-IID) 데이터 분포로 인해 발생하는 분산 학습의 성능 저하 문제를 해결한다. 이는 글로벌 모델이 로컬 모델보다 성능이 열 劣하기 때문이다.
• 개인 정보를 공유하지 않고도 데이터 분포가 극단적이거나 다양한 클라이언트의 개인화된 모델 학습을 가능하게 한다.
• 모델 가중치나 기울기 대신 추론 유사도를 기반으로 클라이언트를 군집화하는 메커니즘을 개발하여, 민첩하고 적응형 군집 형성 가능성을 확보한다.
• 기존 군집 구조를 활용해 새로운 클라이언트가 훈련 후에 참여할 수 있도록 지원함으로써 동적 클라이언트 참여를 가능하게 한다.
• 사전에 군집 수를 정의할 필요 없이, 다양한 데이터 왜곡 정도에 대해 강건한 성능을 보이도록 한다.

제안 방법

• FLIS는 서버가 보유한 소규모 데이터셋을 기반으로 클라이언트의 추론 응답을 사용하여 클라이언트 간의 유사도 점수를 계산하고, 이를 유사도 행렬로 구성한다.
• 서버는 클라이언트의 비밀 데이터에 접근하지 않고도 추론 유사도 행렬에 하드 임계값 처리 또는 계층적 군집화를 적용하여 클라이언트를 군집에 할당한다.
• 각 군집 내에서 독립적으로 모델 집합을 수행함으로써, 각 그룹이 자체 데이터 분포에 맞게 개인화된 모델을 훈련할 수 있다.
• 각 라운드에서 클라이언트는 로컬 검증 손실 기반으로 가장 성능이 좋은 군집 모델을 선택함으로써 개인화된 적응을 가능하게 한다.
• 이 프레임워크는 온라인 방식으로 동적으로 군집을 형성하여, 새로운 클라이언트가 참여하고 가장 유사한 군집을 선택해 개인화할 수 있도록 한다.
• 이 방법은 극단적으로 왜곡된 데이터와 약간 왜곡된 Non-IID 데이터 모두에 강건하며, 군집 수에 대한 사전 지식이 필요하지 않다.

실험 결과

연구 질문

• RQ1 비밀 데이터에 접근하지 않고도 클라이언트 모델 간의 추론 유사도를 효과적으로 활용하여 의미 있는 군집으로 클라이언트를 그룹화할 수 있는가?
• RQ2 모델 가중치나 기울기 기반 군집화와 비교할 때, 추론 유사도 기반 군집화의 개인화 및 수렴 성능는 어떠한가?
• RQ3 Non-IID 데이터 환경 하에서 기존 최고 수준의 글로벌 및 개인화된 FL 방법과 비교해 FLIS가 뛰어난 성능을 달성할 수 있는가?
• RQ4 훈련이 시작된 후에 새로운 클라이언트가 참여할 경우 FLIS의 일반화 능력은 얼마나 뛰어나게 작동하는가?
• RQ5 추론 유사도 임계값 β의 최적 값은 무엇이며, 이는 군집 정확도와 모델 성능 간의 균형을 어떻게 확보하는가?

주요 결과

• CIFAR-100과 FMNIST에서 Non-IID 레이블 왜곡 조건 하에서, FLIS는 최고 수준의 글로벌 FL 기반 모델(FedAvg, FedProx)보다 최대 40% 높은 테스트 정확도를 달성한다.
• FMNIST에서 20% Non-IID 왜곡 조건 하에서, FLIS(DC)는 평균 로컬 테스트 정확도 97.51%를 기록하여 IFCA(96.29%)와 Per-FedAvg(89.88%)를 모두 초월한다.
• CIFAR-10에서 30% Non-IID 왜곡 조건 하에서, FLIS는 단 30회의 통신 라운드 내에 수렴하며, IFCA 및 LG를 포함한 모든 최고 수준의 기반 모델을 능가한다.
• FLIS는 훈련 후에 참여하는 새로운 클라이언트도 높은 개인화 정확도를 달성할 수 있다. 예를 들어 FMNIST에서 97.51%의 정확도를 기록함으로써, 새로운 참가자에 대한 강력한 일반화 능력을 입증한다.
• 최적의 추론 유사도 임계값 β는 데이터셋에 따라 달라지며, 예를 들어 CIFAR-10의 경우 β=0.1, FMNIST의 경우 β=0.5로 설정할 때 성능이 최고에 이르며, 이로 인해 군집 오차는 최소화된다.
• FLIS는 극단적으로 왜곡된 데이터와 약간 왜곡된 Non-IID 환경 모두에서 강력한 성능을 유지한다. 이는 이전 방법들이 고정된 군집 수가 필요로 하는 것과 대비된다.