[论文解读] Federated Meta-Learning with Fast Convergence and Efficient Communication

Fei Chen, Mi Luo+3 more|arXiv (Cornell University)|Feb 22, 2018

Privacy-Preserving Technologies in Data参考文献 36被引用 277

一句话总结

FedMeta 通过联邦元学习（MAML/Meta-SGD）训练一个参数化的学习算法，以实现快速适应、降低通信成本，并在保持客户端隐私的同时获得比 FedAvg 更高的准确性。

ABSTRACT

Statistical and systematic challenges in collaboratively training machine learning models across distributed networks of mobile devices have been the bottlenecks in the real-world application of federated learning. In this work, we show that meta-learning is a natural choice to handle these issues, and propose a federated meta-learning framework FedMeta, where a parameterized algorithm (or meta-learner) is shared, instead of a global model in previous approaches. We conduct an extensive empirical evaluation on LEAF datasets and a real-world production dataset, and demonstrate that FedMeta achieves a reduction in required communication cost by 2.82-4.33 times with faster convergence, and an increase in accuracy by 3.23%-14.84% as compared to Federated Averaging (FedAvg) which is a leading optimization algorithm in federated learning. Moreover, FedMeta preserves user privacy since only the parameterized algorithm is transmitted between mobile devices and central servers, and no raw data is collected onto the servers.

研究动机与目标

• 在非 IID 和资源受限的客户端设置下，推动联邦学习。
• 提出 FedMeta，一个共享参数化算法而不是全局模型的框架。
• 在联邦框架中集成模型无关元学习算法（MAML 和 Meta-SGD）。
• 在 LEAF 数据集和一个生产数据集上评估 FedMeta，以在准确性、收敛和通信成本方面与 FedAvg 进行比较。
• 通过避免在服务器上收集原始数据来展示隐私保护的好处。

提出的方法

• 采用一个参数化的元学习者 ϕ（例如 MAML 的初始化 θ，或 Meta-SGD 的 (θ, α)）由客户端共享。
• 客户端接收算法参数，在本地支持数据上训练，并报告查询损失以更新服务器端的元学习者。
• 服务器使用聚合的客户端反馈更新元学习者参数（外环）。
• 使用情节化的元训练，其中每个情节从客户端批次中采样以执行内/外部更新。
• 在 FedMeta 框架内将 MAML 和 Meta-SGD 作为运行示例，以说明该方法。
• 展示隐私保护，因为仅传输算法参数和损失，而非原始数据。

实验结果

研究问题

• RQ1 FedMeta 是否能在多样化的联邦数据集上实现比 FedAvg 更快的收敛和更低的通信成本？
• RQ2 基于元学习的联邦方法（MAML/Meta-SGD）是否在非 IID、个性化的客户端数据上提供更高的准确性和更好的泛化？
• RQ3 改变客户端支持分数（用于适应的数据比例）如何影响 FedMeta 相对于 FedAvg 的性能？
• RQ4 与基线联邦学习方法相比，FedMeta 在计算与通信开销之间的权衡如何？
• RQ5 FedMeta 是否通过避免在服务器上收集原始数据来保持隐私优势？

主要发现

• FedMeta 在评估任务中将所需的通信成本降低了 2.82–4.33×。
• FedMeta 以比 FedAvg 更高的最终准确率实现，提升范围为 3.23% 到 14.84%。
• 基于元学习的 FedMeta 变体（MAML/Meta-SGD）在 LEAF 数据集上显示出更快的收敛和更高的稳定性。
• FedAvg(Meta) 通常优于 FedAvg，但 FedMeta 变体通常带来更大的增益，特别是当客户端支持分数增加时。
• FedMeta 在一个真实工业推荐任务上显示出有效性，在若干设定中优于独立和统一的联邦模型。