[논문 리뷰] Enhancing Heterogeneous Federated Learning with Knowledge Extraction and Multi-Model Fusion

Nguyen, Duy Phuong, Sixing Yu외 2명|arXiv (Cornell University)|2022. 08. 16.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 지식 희석과 다중 모델 융합을 통해 이종적인 플러드된 학습을 향상시키는 자원 인지형 피드서버드 학습 프레임워크인 FedKEM을 제안한다. 지역 모델의 지식을 전역 집계를 위해 압축된 지식 네트워크로 희석함으로써, FedKEM은 ResNet-32 기준으로 통신 비용을 최대 50% 감소시키고, VGG-11 기준으로는 최대 10배까지 감소시킨다. 이는 비균일 데이터 분포(non-IID) 및 이종적인 모델 설정에서도 성능과 일반화 능력을 향상시킨다.

ABSTRACT

Concerned with user data privacy, this paper presents a new federated learning (FL) method that trains machine learning models on edge devices without accessing sensitive data. Traditional FL methods, although privacy-protective, fail to manage model heterogeneity and incur high communication costs due to their reliance on aggregation methods. To address this limitation, we propose a resource-aware FL method that aggregates local knowledge from edge models and distills it into robust global knowledge through knowledge distillation. This method allows efficient multi-model knowledge fusion and the deployment of resource-aware models while preserving model heterogeneity. Our method improves communication cost and performance in heterogeneous data and models compared to existing FL algorithms. Notably, it reduces the communication cost of ResNet-32 by up to 50\% and VGG-11 by up to 10$ imes$ while delivering superior performance.

연구 동기 및 목표

• 비균일 데이터 분포(non-IID) 및 자원 제약이 있는 엣지 환경에서 전통적인 피드서버드 학습의 한계를 해결한다.
• 집계 과정에서 전체 모델 가중치 교환을 압축된 지식 네트워크로 대체함으로써 피드서버드 학습의 통신 오버헤드를 감소시킨다.
• 다양한 지역 모델의 지식을 다중 모델 융합 및 희석을 통해 융합함으로써 전역 모델의 일반화 능력과 안정성을 향상시킨다.
• 클라이언트의 계산 자원에 맞춰 모델 복잡도를 조정함으로써 이종적인 모델을 엣지 디바이스에 공정하고 효율적으로 구현할 수 있도록 한다.
• 다양한 엣지 하드웨어와 데이터 분포에서 높은 성능을 유지하는 확장 가능하고 프라이버시를 보호하는 피드서버드 학습 솔루션을 개발한다.

제안 방법

• 각 지역 모델과 병행하여 학습되는 경량 지식 네트워크를 도입하여 깊은 상호 학습을 통해 모델 지식을 추출하고 압축한다.
• 클라이언트와 서버 간에 전체 모델 가중치 대신 희석된 지식 네트워크만을 전송함으로써 통신 비용을 크게 감소시킨다.
• 서버에서 다수의 압축된 지식 네트워크를 앙상블하여 강력한 전역 지식 표현을 형성하기 위해 다중 모델 융합을 수행한다.
• 융합된 전역 지식을 다시 압축된 전역 모델로 희석하여 클라이언트에 재배포함으로써 효율적인 미세조정을 가능하게 한다.
• 자원 인지형 모델 할당을 활용하여 클라이언트가 메모리 및 MAC 용량에 맞춰 모델(예: ResNet-20, 32, 44)을 배포함으로써 이종적 배포를 가능하게 한다.
• 학습 라운드 전반에 걸쳐 모델 크기와 통신 오버헤드를 줄이면서도 성능을 유지하기 위해 지식 희석을 활용한다.

실험 결과

연구 질문

• RQ1 지식 희석과 다중 모델 융합이 모델 정확도를 훼손하지 않으면서도 이종적인 피드서버드 학습에서 통신 비용을 줄일 수 있는가?
• RQ2 FedKEM은 비균일 데이터 분포와 이종적인 클라이언트 모델 조건에서 최신 기술 기반 피드서버드 학습 기준보다 어떻게 성능을 내는가?
• RQ3 압축된 지식 네트워크가 전체 모델 가중치를 대체하여 전역 집계에 사용될 경우, 일반화 능력 유지 또는 향상에 얼마나 기여하는가?
• RQ4 자원 인지형 모델 배포 방식이 이종적인 엣지 환경에서 학습 안정성과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 다양한 이질적인 모델의 지식 융합이 피드서버드 학습에서 더 강력하고 일반화 능력이 뛰어난 전역 모델을 도출할 수 있는가?

주요 결과

• FedKEM은 FedAvg 및 FedProx와 같은 기준 기반 피드서버드 학습 방법 대비 ResNet-32 기준으로 통신 비용을 최대 50% 감소시키고, VGG-11 기준으로는 최대 10배까지 감소시킨다.
• 100개의 클라이언트와 ResNet-20를 지식 네트워크로 사용할 경우, FedKEM은 통신 오버헤드가 0.074 GB에 불과하며, FedProx의 0.71 GB 대비 한 수준 감소한 결과를 보였다.
• ResNet-20를 지식 네트워크로 사용할 경우, FedKEM은 49회의 통신 라운드 내에 60%의 정확도를 달성했으며, 동일 조건에서 FedNova는 123회의 라운드가 필요로 했다.
• 다양한 클라이언트 모델(예: ResNet-20, 32, 44)을 사용할 경우에도 높은 정확도(70% 이상)를 유지함으로써, 다중 모델 배포 환경에서 안정적인 성능을 보였다.
• 지식 희석과 다중 모델 융합은 과적합과 분산을 크게 줄여주며, 비균일 및 이종적인 환경에서 전역 모델의 일반화 능력을 향상시킨다.
• 압축된 지식 네트워크의 사용은 효율적인 학습과 추론을 가능하게 하여, FedKEM이 자원 제약이 있는 엣지 디바이스에 실질적인 구현에 적합함을 입증한다.