[论文解读] One-Shot Federated Learning

Neel Guha, Ameet Talwalkar+1 more|arXiv (Cornell University)|Feb 28, 2019

Privacy-Preserving Technologies in Data参考文献 7被引用 138

一句话总结

本文提出一种一次性联邦学习，利用集成模型与蒸馏在单次通信轮次中构建全局模型，相较本地基线实现平均相对ROC-AUC提升51.5%，并达到不可达到的全局理想的90.1%。

ABSTRACT

We present one-shot federated learning, where a central server learns a global model over a network of federated devices in a single round of communication. Our approach - drawing on ensemble learning and knowledge aggregation - achieves an average relative gain of 51.5% in AUC over local baselines and comes within 90.1% of the (unattainable) global ideal. We discuss these methods and identify several promising directions of future work.

研究动机与目标

• 激励一种与迭代式联邦学习相比更高效的通信方式，通过在单轮中学习全局模型。
• 利用集成学习在设备数据非独立同分布时聚合异质本地模型。
• 探索半监督蒸馏以压缩集成并实现隐私保护学习。
• 在真实联邦数据集上评估所提方法以评估其实用性与性能。
• 概述个性化、隐私保障和非凸模型的未来方向。

提出的方法

• 每个设备在其数据上完成训练一个局部凸模型（核化的SVM）。
• 中央服务器使用基于交叉验证性能、数据量或随机选择等策略，从局部模型中选择子集形成一个集成（k个模型）。
• 通过对选定的局部模型进行加权平均来组合集成预测。
• 在半监督环境中，利用代理的未标记数据通过对偶空间的基于邻近的蒸馏将集成蒸馏到一个更小的模型。
• 蒸馏在代理数据上最小化教师集成预测与学生模型之间的L2差异，以得到紧凑的 f'(x)。
• 讨论蒸馏在需要本地访问支持向量的模型上的隐私好处。

实验结果

研究问题

• RQ1 一次性通过集成学习进行联邦学习是否能在不进行迭代通信轮次的情况下实现具有竞争力的全局性能？
• RQ2 集成选择策略（基于CV、基于数据或随机）在提升全局性能方面相比局部训练模型有多有效？
• RQ3 在未标记代理数据上的蒸馏是否在降低通信成本的同时保留或提升集成性能？
• RQ4 在具有非IID设备数据的真实联邦数据集上，实际收益与局限性是什么？

主要发现

数据集	总样本数（设备）	设备最小/最大
EMNIST	406,048 (3,462)	10/460
Sent140	161,966 (4,000)	21/345
Gleam	2,469 (38)	33/99

• 集成方法在所评估的数据集上始终优于本地基线。
• 通过CV、数据或随机策略选择的集成通常优于完整集成，Gleam数据集除外，因为设备较少。
• 整体数据集上，该方法相较本地基线实现平均相对ROC-AUC提升51.5%。
• 集成方法达到不可达到的全局理想分类器的90.1%。
• 在带代理数据的半监督环境中，蒸馏模型可以用相对少量的代理样本近似集成性能。
• 蒸馏通过减少共享原始本地信息的需求，也带来更友好的隐私优势。