[论文解读] Agnostic Federated Learning

Mehryar Mohri, Gary Sivek+1 more|arXiv (Cornell University)|Feb 1, 2019

Privacy-Preserving Technologies in Data参考文献 38被引用 259

一句话总结

AFL 针对任意混合的客户端分布优化集中式模型，提供数据相关的泛化保证，并提供带收敛性证明的快速极小-极大 SGD 算法，以及经验验证与公平性洞见。

ABSTRACT

A key learning scenario in large-scale applications is that of federated learning, where a centralized model is trained based on data originating from a large number of clients. We argue that, with the existing training and inference, federated models can be biased towards different clients. Instead, we propose a new framework of agnostic federated learning, where the centralized model is optimized for any target distribution formed by a mixture of the client distributions. We further show that this framework naturally yields a notion of fairness. We present data-dependent Rademacher complexity guarantees for learning with this objective, which guide the definition of an algorithm for agnostic federated learning. We also give a fast stochastic optimization algorithm for solving the corresponding optimization problem, for which we prove convergence bounds, assuming a convex loss function and hypothesis set. We further empirically demonstrate the benefits of our approach in several datasets. Beyond federated learning, our framework and algorithm can be of interest to other learning scenarios such as cloud computing, domain adaptation, drifting, and other contexts where the training and test distributions do not coincide.

研究动机与目标

• 在目标分布未知或可能出现客户端分布混合的情形下，驱动联邦学习。
• 将不可知目标定义为跨客户端混合权重下的最坏损失。
• 利用带权雷当克（Rademacher）复杂度来推导数据相关的泛化界限，以指导算法设计。
• 提出在损失和假设空间为凸的情形下，具备收敛保证的快速随机极小极大优化算法。
• 通过经验评估展示收益，并讨论扩展到相关领域，如云学习和领域自适应。

提出的方法

• 将AFL形式化为目标分布是任意客户端分布混合的情形，并将不可知损失定义为对混合诱导的损失的最大值。
• 引入一个数据相关的雷当克复杂度框架，用以对跨混合的不可知损失进行界定/上界。
• 从理论中推导出基于偏斜性的正则项，以引导学习。
• 为极小极大AFL目标开发快速随机梯度下降算法，具备收敛保证。
• 给出基于凸优化的解路径（第5.2节），并通过随机梯度性质分析收敛性。
• 在多个数据集上进行经验验证并讨论将方法扩展到对客户端聚类及其他领域。

实验结果

研究问题

• RQ1 在联邦学习中，为客户端分布混合优化的影响与标准均匀（聚合）分布相比有多大？
• RQ2 当测试分布是客户端域的混合时，如何量化并控制泛化风险？
• RQ3 AFL 能否产生一个关注公平性的训练目标，以缓解跨受保护组的 Good-Intent 公平性问题？
• RQ4 在联邦设置下，哪些算法与保证能实现对不可知目标的可扩展优化？

主要发现

• 在特定设定下，AFL 在不可知损失方面可相较于均匀分布解提升一个常数项。
• 本文给出用于不可知目标的数据相关雷当克复杂度界限，为算法设计提供指导。
• 提出了一个具备收敛保证的极小极大随机优化算法，适用于凸损失和假设集合。
• 出现一种自然的 Good-Intent 公平性概念，即预测器在受保护子群体之间表现相似，同时最小化最坏的子群体损失。
• 实验在若干数据集上展示了AFL的优势，并强调其在领域自适应、漂移及云学习场景中的适用性。