[논문 리뷰] Global Knowledge Distillation in Federated Learning.

Wanning Pan, Lichao Sun|arXiv (Cornell University)|2021. 06. 30.

Privacy-Preserving Technologies in Data참고 문헌 39인용 수 4

한 줄 요약

이 논문은 비-i.i.i. 데이터 환경에서 국소적 훈련 편향을 줄이기 위해 과거 전역 모델을 활용하는 글로벌 지식 증류 방법인 FedGKD를 제안한다. 과거 전역 모델에서 유래한 지식을 국소 클라이언트에 증류함으로써 FedGKD는 수렴 속도와 정확도를 향상시키며, 비-i.i.i. 데이터 조건 하에서 CIFAR-10/100에서 최신 기술을 능가한다.

ABSTRACT

Knowledge distillation has caught a lot of attention in Federated Learning (FL) recently. It has the advantage for FL to train on heterogeneous clients which have different data size and data structure. However, data samples across all devices are usually not independent and identically distributed (non-i.i.d), posing additional challenges to the convergence and speed of federated learning. As FL randomly asks the clients to join the training process and each client only learns from local non-i.i.d data, which makes learning processing even slower. In order to solve this problem, an intuitive idea is using the global model to guide local training. In this paper, we propose a novel global knowledge distillation method, named FedGKD, which learns the knowledge from past global models to tackle down the local bias training problem. By learning from global knowledge and consistent with current local models, FedGKD learns a global knowledge model in FL. To demonstrate the effectiveness of the proposed method, we conduct extensive experiments on various CV datasets (CIFAR-10/100) and settings (non-i.i.d data). The evaluation results show that FedGKD outperforms previous state-of-the-art methods.

연구 동기 및 목표

• 이질적인 클라이언트 간 비-i.i.i. 데이터로 인한 분산 학습에서의 국소 모델 편향 문제를 해결한다.
• 비-i.i.i. 데이터와 무작위 클라이언트 참가의 부정적 영향을 줄임으로써 분산 학습에서 수렴 속도와 모델 성능을 향상시킨다.
• 국소 클라이언트가 이전 훈련 라운드 동안 누적된 전역 지식을 활용할 수 있는 방법을 개발한다.
• 이전 전역 지식을 국소 훈련 과정에 통합하여 분산 학습에서의 일반화 능력과 강인성을 향상시킨다.

제안 방법

• 과거 전역 모델을 국소 클라이언트의 지식 소스로 활용하는 새로운 글로벌 지식 증류 프레임워크인 FedGKD를 제안한다.
• 국소 학생 모델과 과거 전역 교사 모델 간의 지식 증류 손실을 통합하여 국소 업데이트를 전역 지식과 일치시킨다.
• 다양한 이전 전역 모델에서의 증류를 통해 국소 모델과 전역 지식 간 일관성을 유지한다.
• 지난 라운드의 전역 모델에서 유래한 증류 손실과 국소 데이터 손실을 조합하여 국소 모델의 편향을 줄인다.
• 훈련 진행 상황에 기반해 관련성이 높은 과거 전역 모델을 동적으로 선택하여 지식 전이 효율성을 향상시킨다.
• 라운드 간 모델 아키텍처와 특징 표현을 정렬함으로써 국소 지식과 전역 지식 간 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 과거 전역 모델에서 유래한 지식 증류가 비-i.i.i. 분산 학습 환경에서 국소 모델의 수렴을 향상시킬 수 있는가?
• RQ2 FedGKD는 기존의 지식 증류 및 분산 학습 방법과 비교해 정확도와 수렴 속도 측면에서 어떻게 성능을 내는가?
• RQ3 이전 전역 지식을 사용함으로써 이질적이고 비-i.i.i. 데이터 환경에서 국소 모델의 편향은 어느 정도 감소하는가?
• RQ4 전역 지식의 통합이 다양한 클라이언트 데이터 분포에서 일반화 능력과 강인성을 향상시키는가?

주요 결과

• FedGKD는 비-i.i.i. 데이터 설정 하에서 CIFAR-10 및 CIFAR-100에서 최신 기술보다 높은 테스트 정확도를 달성한다.
• 과거 전역 모델에서의 지식 증류로 인해 국소 모델 편향이 감소함으로써 수렴 속도가 빨라진다.
• 표준 분산 학습이 수렴에 어려움을 겪는 극도로 비-i.i.i. 데이터 시나리오에서 성능 향상이 특히 두드러진다.
• 여러 개의 과거 전역 모델을 증류 소스로 활용함으로써 지식 전이와 모델 안정성이 향상된다.
• 다양한 클라이언트 참여 비율과 데이터 이질성 수준에서도 일관된 성능을 유지한다.
• 무작위 클라이언트 선택과 비-i.i.i. 데이터가 전역 모델 품질에 미치는 부정적 영향을 효과적으로 줄인다.