[논문 리뷰] Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer

Yae Jee Cho, Jianyu Wang외 2명|arXiv (Cornell University)|2021. 09. 16.

Privacy-Preserving Technologies in Data참고 문헌 47인용 수 15

한 줄 요약

이 논문은 동일한 모델 아키텍처를 가정하거나 모델 파라미터 교환으로 인한 높은 통신 비용을 초래하는 기존 개인화된 피어드 학습 방법의 한계를 해결하기 위해, 로그리트를 통한 군집화 지식 전달을 통해 비동일한 클라이언트가 개인화된 모델을 훈련할 수 있도록 하는 개인화된 피어드 학습 프레임워크 PerFed-CKT를 제안한다. 클라이언트의 데이터 분포 기반으로 군집화하여 각 군집 내에서 예측 로그리트만을 교환함으로써 기존 방법 대비 수개의 주기 수준 낮은 통신 비용으로 최신 기술 수준의 테스트 정확도를 달성한다.

ABSTRACT

Personalized federated learning (FL) aims to train model(s) that can perform well for individual clients that are highly data and system heterogeneous. Most work in personalized FL, however, assumes using the same model architecture at all clients and increases the communication cost by sending/receiving models. This may not be feasible for realistic scenarios of FL. In practice, clients have highly heterogeneous system-capabilities and limited communication resources. In our work, we propose a personalized FL framework, PerFed-CKT, where clients can use heterogeneous model architectures and do not directly communicate their model parameters. PerFed-CKT uses clustered co-distillation, where clients use logits to transfer their knowledge to other clients that have similar data-distributions. We theoretically show the convergence and generalization properties of PerFed-CKT and empirically show that PerFed-CKT achieves high test accuracy with several orders of magnitude lower communication cost compared to the state-of-the-art personalized FL schemes.

연구 동기 및 목표

• 기존 개인화된 피어드 학습 방법이 동일한 모델 아키텍처를 가정하고 있으며, 모델 파라미터 교환으로 인해 높은 통신 비용이 발생하는 문제를 해결하기 위해.
• 매우 비동일한 데이터 및 시스템 환경에서 데이터가 부족한 클라이언트의 개인화 성능을 향상시키기 위해.
• 모델 파라미터 전송을 지식 전달(로그리트를 통한)으로 대체하여 피어드 학습의 통신 오버헤드를 줄이기 위해.
• 클라이언트 간 데이터 분포 유사성을 활용하여 군집화함으로써 지식 전달 중 비관련 지식의 통합을 방지하기 위해.
• 비동일한 설정에서 제안된 개인화된 피어드 학습 프레임워크의 수렴성 및 일반화 보장을 이론적으로 제공하기 위해.

제안 방법

• 클라이언트는 자신의 시스템 능력과 데이터 크기에 맞게 비동일한 아키텍처를 가진 개인화된 모델을 로컬 데이터로 훈련한다.
• 서버는 공유된 비라벨 데이터셋에 대한 모델 예측의 로그리트를 기반으로 클라이언트를 군집화한다.
• 지식 전달은 공동 정규화를 통해 이루어지며, 각 클라이언트는 자신의 클러스터 내 클라이언트의 평균 예측을 사용하여 로컬 손실를 정규화한다. 모든 클라이언트의 예측을 사용하는 것이 아니라 자신의 클러스터 내 클라이언트의 예측만을 사용한다.
• 이 방법은 클러스터 평균 예측에서의 이탈을 방지하는 클러스터 인식 정규화 항을 사용하여 유사한 데이터 분포 내에서 일반화 성능을 향상시킨다.
• 통신은 공개된 비라벨 데이터셋에 대한 로그리트(모델 예측) 교환에 국한되어, 모델 파라미터 전송에 비해 대역폭 사용을 극도로 줄인다.
• 이 프레임워크는 모델 동일성 및 비동일성 설정을 모두 지원하여 다양한 클라이언트에서 실용적인 구현이 가능하다.

실험 결과

연구 질문

• RQ1 클라이언트의 데이터 및 시스템 비동일성 존재 하에 개인화된 피어드 학습이 높은 테스트 정확도를 달성하면서도 통신 비용을 크게 줄일 수 있는가?
• RQ2 데이터 분포 기반으로 클라이언트를 군집화함으로써 공동 정규화에서 모든 클라이언트의 예측을 사용하는 것과 비교해 일반화 성능가 향상되는가?
• RQ3 개인화된 피어드 학습에서 지식 전달을 통한 성능과 통신 효율성에 대해 군집 수가 미치는 영향은 무엇인가?
• RQ4 성능 저하 없이도 통신 비용 증가 없이도 비동일한 모델 아키텍처를 가진 클라이언트 간에 개인화된 피어드 학습 프레임워크를 지원할 수 있는가?
• RQ5 군집화된 지식 전달을 통한 개인화된 피어드 학습 시스템에서 수렴성 및 일반화에 대해 이론적으로 어떤 보장을 제공할 수 있는가?

주요 결과

• C=0.1일 때 PerFed-CKT는 통신에 5.2×10⁷개의 파라미터만 사용하여 74.31%의 테스트 정확도를 달성하였으며, FedFomo 대비 통신 효율성에서 최대 750배 향상되었다.
• C=0.15일 때 PerFed-CKT는 76.74%의 테스트 정확도를 기록했고 통신 비용은 7.2×10⁷로, FedFomo의 5850×10⁷에 비해 최대 ×812.5의 절감 효과를 보였다.
• 모델 비동일성 환경에서도 PerFed-CKT는 높은 성능 유지를 보였으며, C=0.1일 때 정확도 72.25% (통신 비용 4.8×10⁷), C=0.15일 때 정확도 76.14% (통신 비용 6.8×10⁷)를 달성하였다.
• 최적의 군집 수는 C=0.1일 때 c=3, C=0.15일 때 c=2이며, 이 이상의 군집 수를 늘일 경우 군집의 다양성과 정보 농도가 감소하여 정확도가 하락한다.
• PerFed-CKT는 군집화가 비유사한 클라이언트로부터의 비관련 지식 통합을 방지함으로써 일반화를 향상시킨다는 점을 입증하였으며, 이는 이론적 수렴성 및 일반화 경계를 통해 확인되었다.
• 프레임워크는 모델 비동일성 설정에서도 뛰어난 성능을 유지하였으며, 클라이언트 간 동일한 모델 아키텍처가 필요 없이도 개인화된 모델이 효과적으로 훈련될 수 있음을 보여주었다.