[논문 리뷰] Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning

Lin Zhang, Li Shen외 3명|arXiv (Cornell University)|2022. 03. 17.

Privacy-Preserving Technologies in Data인용 수 16

한 줄 요약

이 논문은 비정규 분포 데이터로 인한 성능 저하를 완화하기 위해 생성된 하드 샘플을 통해 피에프티드 학습의 글로벌 모델을 미세조정하는 데이터 프리 지식 전이 방법인 FedFTG를 제안한다. 서버 기반의 생성기로 국소 모델들로부터 지식을 채굴하고 전달함으로써 FedFTG는 다양한 벤치마크에서 수렴성과 정확도를 향상시키며, 실제 데이터셋에서 최신 기술(SOTA) 방법보다 최대 6% 높은 성능을 기록한다.

ABSTRACT

Federated Learning (FL) is an emerging distributed learning paradigm under privacy constraint. Data heterogeneity is one of the main challenges in FL, which results in slow convergence and degraded performance. Most existing approaches only tackle the heterogeneity challenge by restricting the local model update in client, ignoring the performance drop caused by direct global model aggregation. Instead, we propose a data-free knowledge distillation method to fine-tune the global model in the server (FedFTG), which relieves the issue of direct model aggregation. Concretely, FedFTG explores the input space of local models through a generator, and uses it to transfer the knowledge from local models to the global model. Besides, we propose a hard sample mining scheme to achieve effective knowledge distillation throughout the training. In addition, we develop customized label sampling and class-level ensemble to derive maximum utilization of knowledge, which implicitly mitigates the distribution discrepancy across clients. Extensive experiments show that our FedFTG significantly outperforms the state-of-the-art (SOTA) FL algorithms and can serve as a strong plugin for enhancing FedAvg, FedProx, FedDyn, and SCAFFOLD.

연구 동기 및 목표

• 직접 모델 집계와 지식 상실로 인한 비정규 분포 피에프티드 학습에서의 성능 저하를 해결한다.
• 미사용된 서버 측 컴퓨팅 자원을 활용해 글로벌 모델의 일반화 성능을 향상시킨다.
• 원시 데이터 전송을 피하기 위해 합성 데이터를 생성하는 개인정보 보호 기반 방법을 개발한다.
• 맞춤형 레이블 샘플링과 클래스 수준 앙상블 기법을 통해 클라이언트 간 레이블 분포 이동을 완화한다.
• 기존 국소 최적화 알고리즘과 수직적(orthogonal)인 플러그인 솔루션을 설계하여 FedAvg, FedProx, FedDyn, SCAFFOLD, MOON 등을 향상시킨다.

제안 방법

• 국소 모델의 입력 공간을 모델링하고 지식 전이를 위한 가짜 데이터를 생성하기 위해 서버에서 생성기를 훈련시킨다.
• 국소 모델과 글로벌 모델 간 예측 불일치를 유발하는 샘플을 식별하고 우선순위를 정하는 하드 샘플 채굴 전략을 구현한다.
• 원시 클라이언트 데이터에 접근하지 않고도 국소 모델에서 글로벌 모델로 지식을 전이하기 위해 데이터 프리 전이를 적용한다.
• 지식 전이 과정에서 클라이언트 간 레이블 분포 이동을 보완하기 위해 맞춤형 레이블 샘플링을 적용한다.
• 클라이언트 간 예측을 앙상블하여 지식 활용도를 극대화하기 위해 클래스 수준 앙상블을 활용한다.
• 데이터 프리 방식으로 생성기와 글로벌 모델을 적대적으로 훈련시어 개인정보 보호를 유지하면서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 집계 후 글로벌 모델의 미세조정이 비정규 분포 피에프티드 학습에서 성능 향상에 기여할 수 있는가?
• RQ2 원시 클라이언트 데이터에 접근하지 않고 국소 모델에서 글로벌 모델로 지식을 효과적으로 전이할 수 있는가?
• RQ3 이질적인 데이터 환경에서 하드 샘플 채굴이 지식 전이 향상에 어떤 역할을 하는가?
• RQ4 글로벌 모델 개선 과정에서 클라이언트 간 레이블 분포 이동을 어떻게 완화할 수 있는가?
• RQ5 FedFTG는 기존 피에프티드 최적화 알고리즘에 얼마나 잘 통합될 수 있는가?

주요 결과

• MIO-TCD에서 FedFTG는 테스트 정확도 91.16%를 기록하여 FedAvg(89.63%)와 FedProx(89.69%)보다 1.5% 이상 높다.
• CompCar에서 FedFTG는 정확도 51.85%를 달성하여 FedDyn(50.46%)과 SCAFFOLD(48.64%)를 3% 이상 초월한다.
• Tiny-ImageNet에서 FedFTG는 정확도 42.23%를 기록하여 FedGen(35.44%)과 FedDF(36.19%)를 6% 이상 뛰어넘는다.
• FedFTG는 모든 벤치마크에서 성능 향상을 보이며, FedAvg, FedProx, FedDyn, SCAFFOLD, MOON, FedGen, FedDF를 포함한 최신 기술(SOTA) 방법들보다 일관되게 뛰어나다.
• 통신 오버헤드가 극히 적으며, 레이블 통계 정보만 전송하므로 성능 저하가 0.1% 미만으로 발생한다.
• FedAvg 대비 라운드당 학습 시간이 약 두 배 정도 증가하지만, 이는 높은 정확도 향상으로 인해 정당화된다.