[논문 리뷰] Ensemble Distillation for Robust Model Fusion in Federated Learning

Tao Lin, Lingjing Kong외 2명|arXiv (Cornell University)|2020. 06. 12.

Privacy-Preserving Technologies in Data참고 문헌 84인용 수 485

한 줄 요약

이 논문은 연합학습에서 강건한 모델 융합을 달성하기 위해 앙상블 증류를 사용하는 것을 제안하며, 집계 과정의 강건성을 다룬다.

ABSTRACT

Federated Learning (FL) is a machine learning setting where many devices collaboratively train a machine learning model while keeping the training data decentralized. In most of the current training schemes the central model is refined by averaging the parameters of the server model and the updated parameters from the client side. However, directly averaging model parameters is only possible if all models have the same structure and size, which could be a restrictive constraint in many scenarios. In this work we investigate more powerful and more flexible aggregation schemes for FL. Specifically, we propose ensemble distillation for model fusion, i.e. training the central classifier through unlabeled data on the outputs of the models from the clients. This knowledge distillation technique mitigates privacy risk and cost to the same extent as the baseline FL algorithms, but allows flexible aggregation over heterogeneous client models that can differ e.g. in size, numerical precision or structure. We show in extensive empirical experiments on various CV/NLP datasets (CIFAR-10/100, ImageNet, AG News, SST2) and settings (heterogeneous models/data) that the server model can be trained much faster, requiring fewer communication rounds than any existing FL technique so far.

연구 동기 및 목표

• 연합학습에서 강건한 집계를 촉진하고자 한다.
• 클라이언트 모델을 융합하기 위한 방법으로 앙상블 증류를 도입한다.
• FL에서 앙상블 기반 융합의 강건성 이점을 조사한다.
• 제안된 방법으로부터의 성능 향상(또는 강건성)에 대한 실증적 인사이트를 제공한다.

제안 방법

• 연합학습에서 다수 클라이언트의 모델을 융합하기 위한 앙상블 증류 프레임워크를 제안한다.
• 로컬 모델들을 강건한 글로벌 표현으로 결합하기 위해 증류 기법을 활용한다.
• 집계, 증류 목표, 그리고 최적화를 포함한 앙상블 기반 집계의 핵심 단계를 개괄한다.
• 표준 집계 방식에 비해 강건성에서의 잠재적 이점을 논의한다.

실험 결과

연구 질문

• RQ1 앙상블 증류가 연합학습에서 모델 융합의 강건성을 향상시킬 수 있는가?
• RQ2 앙상블 기반 집계가 성능 및 강건성 측면에서 전통적인 연합 평균(Federated Averaging)과 어떻게 비교되는가?
• RQ3 FL 융합을 위한 앙상블 증류의 효과에 영향을 미치는 핵심 요인은 무엇인가?

주요 결과

• 제공된 발췌문에서 확인할 수 없음.
• 제공된 발췌문에서 확인할 수 없음.
• 제공된 발췌문에서 확인할 수 없음.