[論文レビュー] Ensemble Distillation for Robust Model Fusion in Federated Learning

Tao Lin, Lingjing Kong+2 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data参考文献 84被引用数 485

ひとこと要約

本論文は、連邦学習における堅牢なモデル融合を実現するためにアンサンブル蒸留を用いることを提案し、集約時の堅牢性の問題に対処する。

ABSTRACT

Federated Learning (FL) is a machine learning setting where many devices collaboratively train a machine learning model while keeping the training data decentralized. In most of the current training schemes the central model is refined by averaging the parameters of the server model and the updated parameters from the client side. However, directly averaging model parameters is only possible if all models have the same structure and size, which could be a restrictive constraint in many scenarios. In this work we investigate more powerful and more flexible aggregation schemes for FL. Specifically, we propose ensemble distillation for model fusion, i.e. training the central classifier through unlabeled data on the outputs of the models from the clients. This knowledge distillation technique mitigates privacy risk and cost to the same extent as the baseline FL algorithms, but allows flexible aggregation over heterogeneous client models that can differ e.g. in size, numerical precision or structure. We show in extensive empirical experiments on various CV/NLP datasets (CIFAR-10/100, ImageNet, AG News, SST2) and settings (heterogeneous models/data) that the server model can be trained much faster, requiring fewer communication rounds than any existing FL technique so far.

研究の動機と目的

• 連邦学習における堅牢な集約の動機付け。
• クライアントモデルを統合する方法としてアンサンブル蒸留を導入する。
• FLにおけるアンサンブルベースの融合の堅牢性利点を調査する。
• 提案手法からの性能向上（または堅牢性）の経験的知見を提供する。

提案手法

• 連邦学習において複数クライアントのモデルを融合するためのアンサンブル蒸留フレームワークを提案する。
• 蒸留技術を活用して局所モデルを堅牢なグローバル表現に統合する。
• アンサンブルベースの集約の核心ステップを概説する（集約、蒸留目的、最適化）。
• 標準的な集約手法に対する堅牢性の潜在的利点を議論する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル蒸留は連邦学習におけるモデル融合の堅牢性を向上させることができるか？
• RQ2 パフォーマンスと堅牢性の観点で、アンサンブルベースの集約は従来のフェデレーテッド平均とどのように比較されるか？
• RQ3 FL融合におけるアンサンブル蒸留の有効性に影響を与える重要な要因は何か？

主な発見

• 提供された抜粋には含まれていません。
• 提供された抜粋には含まれていません。
• 提供された抜粋には含まれていません。