[논문 리뷰] pFedSim: Similarity-Aware Model Aggregation Towards Personalized Federated Learning

Jiahao Tan, Yipeng Zhou외 3명|arXiv (Cornell University)|2023. 05. 25.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

pFedSim는 분류기 거리로 유사한 클라이언트를 식별함으로써 모델 분리와 유사도 인식 기반 집합을 결합하는 개인화된 피어드 페더레이티드 러닝 프레임워크를 제안한다. 이는 추가적인 통신이나 프라이버시 리스크 없이 개인화된 특징 추출기를 가능하게 하며, 비IIDs 데이터에서 최신 기준 대비 평균 정확도를 2.96% 향상시킨다.

ABSTRACT

The federated learning (FL) paradigm emerges to preserve data privacy during model training by only exposing clients' model parameters rather than original data. One of the biggest challenges in FL lies in the non-IID (not identical and independently distributed) data (a.k.a., data heterogeneity) distributed on clients. To address this challenge, various personalized FL (pFL) methods are proposed such as similarity-based aggregation and model decoupling. The former one aggregates models from clients of a similar data distribution. The later one decouples a neural network (NN) model into a feature extractor and a classifier. Personalization is captured by classifiers which are obtained by local training. To advance pFL, we propose a novel pFedSim (pFL based on model similarity) algorithm in this work by combining these two kinds of methods. More specifically, we decouple a NN model into a personalized feature extractor, obtained by aggregating models from similar clients, and a classifier, which is obtained by local training and used to estimate client similarity. Compared with the state-of-the-art baselines, the advantages of pFedSim include: 1) significantly improved model accuracy; 2) low communication and computation overhead; 3) a low risk of privacy leakage; 4) no requirement for any external public information. To demonstrate the superiority of pFedSim, extensive experiments are conducted on real datasets. The results validate the superb performance of our algorithm which can significantly outperform baselines under various heterogeneous data settings.

연구 동기 및 목표

• 비IIDs 데이터 분포로 인한 성능 저하 문제를 해결하기 위해 피어드 페더레이티드 러닝에서 데이터 이질성 문제를 다루기 위함.
• 추가적인 데이터 통계 노출 없이도 높은 통신 비용을 유발하지 않고 개인화 모델 정확도를 향상시키기 위함.
• 외부 정보에서 유래하는 프라이버시 누출 없이도 오직 모델 파라미터만을 사용하여 유사한 클라이언트를 정확히 식별하는 방법 개발을 목표로 함.
• 개인화와 일반화를 동시에 향상시킬 수 있도록 모델 분리와 유사도 기반 집합을 효과적으로 통합하는 방법을 개발함.
• 초파rameter 조정에 민감도가 낮고 최소한의 계산 오버헤드를 유발하는 높은 성능을 달성함.

제안 방법

• pFedSim는 신경망을 개인화된 특징 추출기와 분류기로 분리하며, 분류기는 각 클라이언트에서 로컬로 학습된다.
• 클라이언트 간 유사도는 로컬 분류기 간 L2 거리로 측정되며, 이는 특징 추출기의 유사도 인식 기반 집합을 가능하게 한다.
• 프레임워크는 두 단계로 운영된다: 초기 학습을 위한 FedAvg를 사용하는 일반화 단계와 반복적 개선을 수행하는 개인화 단계.
• 개인화 단계에서는 특징 추출기가 로컬로 업데이트되며, 유사한 분류기를 가진 클라이언트들 간에만 집합되어 일반화 성능을 향상시킨다.
• 해당 방법은 원시 데이터나 통계 요약 자료를 노출하지 않으며, 오직 모델 파라미터만을 사용해 유사도를 추정한다.
• 초파rameter ρ는 로컬 및 집합된 특징 추출기 업데이트 간의 균형을 조절하며, 실험 결과 이 값에 대해 낮은 민감도를 보였다.

실험 결과

연구 질문

• RQ1 분류기 기반 유사도 추정이 추가 데이터 정보 노출 없이 개인화된 피어드 페더레이티드 러닝 정확도 향상에 기여할 수 있는가?
• RQ2 모델 분리와 유사도 기반 집합을 조합했을 때, 비IIDs 데이터 환경 하에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 데이터 통계가 아닌 오직 모델 파라미터만을 사용해 클라이언트 유사도를 추정할 경우, 프라이버시와 통신 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 초파rameter 조정, 특히 ρ에 대해 얼마나 민감한가?
• RQ5 클라이언트당 샘플 수가 매우 적은 경우, 예를 들어 Tiny-ImageNet에서 클라이언트당 550개 샘플일 때도 높은 성능을 유지할 수 있는가?

주요 결과

• pFedSim는 비IIDs 설정 하에서 여러 데이터셋에서 최신 기준 대비 평균 정확도를 2.96% 향상시켰다.
• 클라이언트당 550개 샘플뿐인 도전적인 Tiny-ImageNet 데이터셋에서 pFedSim는 기준 대비 정확도를 약 10% 향상시켰다.
• f-FedAP는 배치 정규화 통계를 사용해 유사도를 추정하지만, pFedSim는 더 정확한 분류기 기반 거리 측정을 통해 유사도 추정 정확도를 높여 상당한 성능 향상을 이뤘다.
• pFedSim의 모델 정확도는 초파rameter ρ에 대해 매우 낮은 민감도를 보이며, 실험 전반에서 일관된 성능을 유지했다.
• pFedSim는 통신 및 계산 오버헤드를 최소화했으며, 오직 모델 파라미터만을 교환하고 외부 데이터나 통계 요약 자료가 필요로 하지 않았다.
• 모든 평가 설정에서 pFedSim는 가장 높은 정확도를 기록했으며, 특히 Dirichlet (α=0.1) 및 덜 극단적인 (α=0.5) 비IIDs 분포 하에서 CIFAR-10, CINIC-10, Tiny-ImageNet, EMNIST에서 최고의 성능를 기록했다.