[논문 리뷰] CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in Federated Learning

Huy Quang Lê, Minh N. H. Nguyen외 3명|arXiv (Cornell University)|2022. 04. 04.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

CDKT-FL는 비정규 분포 데이터와 통계적 이질성을 고려한 피어드 학습 환경에서, 소규모 프록시 데이터셋을 활용해 모델 출력과 표현을 통해 지식을 전달하는 교차 기기 지식 정련 프레임워크를 제안한다. 이는 개인화 모델 성능과 학습 안정성을 크게 향상시키며, 커뮤니케이션 오버헤드를 줄이고 프라이버시를 강화한다. CDKT-FL는 FedAvg 대비 최대 10% 높은 클라이언트 개인화 정확도를 달성한다.

ABSTRACT

In a practical setting, how to enable robust Federated Learning (FL) systems, both in terms of generalization and personalization abilities, is one important research question. It is a challenging issue due to the consequences of non-i.i.d. properties of client's data, often referred to as statistical heterogeneity, and small local data samples from the various data distributions. Therefore, to develop robust generalized global and personalized models, conventional FL methods need to redesign the knowledge aggregation from biased local models while considering huge divergence of learning parameters due to skewed client data. In this work, we demonstrate that the knowledge transfer mechanism achieves these objectives and develop a novel knowledge distillation-based approach to study the extent of knowledge transfer between the global model and local models. Henceforth, our method considers the suitability of transferring the outcome distribution and (or) the embedding vector of representation from trained models during cross-device knowledge transfer using a small proxy dataset in heterogeneous FL. In doing so, we alternatively perform cross-device knowledge transfer following general formulations as 1) global knowledge transfer and 2) on-device knowledge transfer. Through simulations on three federated datasets, we show the proposed method achieves significant speedups and high personalized performance of local models. Furthermore, the proposed approach offers a more stable algorithm than other baselines during the training, with minimal communication data load when exchanging the trained model's outcomes and representation.

연구 동기 및 목표

• 피어드 학습에서 통계적 이질성과 비.i.i.d. 데이터로 인한 모델 일반화 및 개인화 성능 저하 문제를 해결한다.
• 왜곡된 데이터 분포와 제한된 로컬 데이터를 가진 이질적인 피어드 학습 환경에서 클라이언트 및 글로벌 모델의 성능과 안정성을 향상시킨다.
• 모델 파라미터 전체를 교환하는 대신 모델 출력과 표현을 교환하여 커뮤니케이션 비용과 프라이버시 위험을 줄인다.
• 프록시 데이터셋과 정련 기반 집계를 통해 이질적인 모델 아키텍처 간 효과적인 지식 전달을 가능하게 한다.
• 고정 및 동적 사용자 선택 시나리오에서 FedAvg에 비해 더 빠른 수렴 속도와 높은 강건성을 달성한다.

제안 방법

• 다양한 데이터 분포를 시뮬레이션하고, 피어드 학습 중 기기 간 일관된 지식 전달을 가능하게 하기 위해 프록시 데이터셋을 도입한다.
• 이중 단계 지식 전달을 구현한다: (1) 서버에서 클라이언트로의 글로벌 지식 전달, (2) 클라이언트에서 서버로의 현장 내 지식 전달.
• 지식 정련을 통해 글로벌 및 로컬 모델의 출력 확률(부드러운 레이블)과 중간 표현(임beddings)을 모두 전달한다.
• 하이퍼파라미터 α(일반화)와 β(글로벌 안정성)로 제어되는 교차 엔트로피와 지식 정련 항목을 조합한 정규화된 손실 함수를 설계한다.
• 클라이언트가 다양한 모델 아키텍처와 데이터 분포를 가진 교차 기기 피어드 학습 환경에서 적용되며, 구조적 정렬이 필요 없이도 탄력적인 집계를 가능하게 한다.
• 모델 전체 파라미터가 아닌 모델 출력과 표현만 교환하여 커뮤니케이션 부담을 최소화하고, 모델 역전환 공격에 의한 프라이버시 泄露 위험을 감소시킨다.

실험 결과

연구 질문

• RQ1 비.i.i.d. 데이터를 가진 교차 기기 피어드 학습 환경에서 프록시 데이터셋을 활용한 지식 정련이 개인화 모델 성능 향상에 기여하는가?
• RQ2 CDKT-FL은 다양한 데이터셋과 사용자 선택 시나리오에서 수렴 속도, 안정성, 일반화 성능 측면에서 FedAvg에 비해 어떻게 비교되는가?
• RQ3 모델 출력과 표현을 교환하는 것과 전체 모델 파라미터를 교환하는 것의 커뮤니케이션 효율성과 프라이버시에 미치는 영향은 무엇인가?
• RQ4 하이퍼파라미터 α와 β는 클라이언트 일반화(C-Gen)와 특화(C-Spec) 성능 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 클라이언트 모델 아키텍처가 글로벌 모델보다 작거나 맞지 않는 경우에도 CDKT-FL은 높은 성능을 유지할 수 있는가?

주요 결과

• 고정 사용자 시나리오에서 CDKT-FL은 Fashion-MNIST에서 FedAvg 대비 최대 10% 높은 클라이언트 개인화 정확도(C-Per)를 달성했고, CIFAR-10에서는 7% 높았다.
• 사용자 부분집합 시나리오에서 CDKT-FL은 Fashion-MNIST와 CIFAR-10 양쪽에서 C-Per를 5% 향상시켰으며, 글로벌 모델 성능은 유사하거나 높은 수준을 유지했다.
• 특히 통계적 이질성과 클라이언트 드리프트 상황에서 CDKT-FL는 FedAvg보다 더 빠른 수렴 속도와 높은 학습 안정성을 보였다.
• CDKT-FL는 전체 파라미터 전송을 피하고 모델 출력과 표현만 교환함으로써 커뮤니케이션 오버헤드를 줄였다.
• 프록시 데이터셋 덕분에 이질적인 클라이언트 모델 간에도 일관된 지식 전달이 가능했으며, 더 작은 클라이언트 네트워크로도 Fashion-MNIST에서 유사한 성능을 달성했다.
• α를 증가시키면 C-Gen 성능은 향상되지만 C-Spec 성능는 약간 저하되어 일반화와 특화 간 조정 가능한 트레이드오프가 있음을 시사한다.