[论文解读] Federated Multi-Task Learning for Competing Constraints.

Li Tian, Shengyuan Hu+2 more|arXiv (Cornell University)|Dec 8, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用 10

一句话总结

本文提出了一种联邦多任务学习框架，旨在统计异构网络中联合优化模型准确率、公平性以及对对抗性攻击的鲁棒性。通过构建统一的多任务目标并使用可扩展求解器，该方法在公平性与鲁棒性之间实现了更优的权衡，优于多个联邦数据集上的最先进基线方法。

ABSTRACT

In addition to accuracy, fairness and robustness are two critical concerns for federated learning systems. In this work, we first identify that robustness to adversarial training-time attacks and fairness, measured as the uniformity of performance across devices, are competing constraints in statistically heterogeneous networks. To address these constraints, we propose employing a simple, general multi-task learning objective, and analyze the ability of the objective to achieve a favorable tradeoff between fairness and robustness. We develop a scalable solver for the objective and show that multi-task learning can enable more accurate, robust, and fair models relative to state-of-the-art baselines across a suite of federated datasets.

研究动机与目标

• 解决联邦学习中固有的公平性（以设备间性能一致性衡量）与对抗性训练时攻击的鲁棒性之间的权衡问题。
• 识别在统计异构的联邦网络中，公平性与鲁棒性是相互竞争的约束条件。
• 开发一种通用且可扩展的多任务学习目标，实现在不牺牲准确率的前提下，实现公平性与鲁棒性之间的有利权衡。

提出的方法

• 构建一个联合优化模型准确率、公平性（设备级别性能的一致性）和鲁棒性（对对抗样本的抵抗力）的多任务学习目标。
• 设计一种针对所提多任务目标量身定制的可扩展优化求解器，支持在去中心化、异构环境中的高效训练。
• 使用设备级别性能的一致性作为公平性度量标准，最小化客户端之间模型性能的方差。
• 将对抗性训练信号整合到多任务目标中，以在模型更新过程中增强鲁棒性。
• 利用联邦学习的结构，在训练单一全局模型的同时，保持设备特定的性能一致性。

实验结果

研究问题

• RQ1 在统计异构条件下，统一的多任务学习目标能否有效平衡联邦学习中的公平性与鲁棒性？
• RQ2 所提方法在多种联邦数据集上与最先进基线方法相比，在准确率、公平性和鲁棒性方面的表现如何？
• RQ3 该多任务目标在保持或提升模型准确率和对抗鲁棒性的前提下，能在多大程度上降低设备间的性能方差？

主要发现

• 所提出的多任务学习框架在公平性与鲁棒性之间的权衡优于现有方法，显著降低了设备间的性能方差。
• 该方法在保持或提升所有评估联邦数据集上模型准确率的同时，增强了对对抗性攻击的鲁棒性。
• 可扩展求解器支持在去中心化环境中高效训练，有利于大规模部署。
• 实证结果表明，该框架在公平性和鲁棒性指标上优于最先进基线方法，且未牺牲准确率。