[论文解读] FedDANE: A Federated Newton-Type Method

Tian Li, Anit Kumar Sahu+4 more|arXiv (Cornell University)|Jan 7, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用 8

一句话总结

FedDANE 提出了一种联邦牛顿型优化方法，通过将不精确的 DANE 适应于低设备参与度和统计异构性的联邦学习场景。尽管在凸和非凸目标函数下具有较强的理论收敛保证，但实验结果表明，由于梯度估计不精确和数据异构性，FedDANE 在性能上始终落后于 FedAvg 和 FedProx。

ABSTRACT

Federated learning aims to jointly learn statistical models over massively distributed remote devices. In this work, we propose FedDANE, an optimization method that we adapt from DANE, a method for classical distributed optimization, to handle the practical constraints of federated learning. We provide convergence guarantees for this method when learning over both convex and non-convex functions. Despite encouraging theoretical results, we find that the method has underwhelming performance empirically. In particular, through empirical simulations on both synthetic and real-world datasets, FedDANE consistently underperforms baselines of FedAvg and FedProx in realistic federated settings. We identify low device participation and statistical device heterogeneity as two underlying causes of this underwhelming performance, and conclude by suggesting several directions of future work.

研究动机与目标

• 解决联邦学习中因统计异构性和低设备参与度导致现有方法收敛困难的问题。
• 将不精确 DANE 算法——一种分布式牛顿型方法——适配到联邦学习设置中，以提升收敛稳定性。
• 在低参与度和异构数据环境下，为 FedDANE 在凸和非凸目标函数下提供理论收敛保证。
• 通过与 FedAvg 和 FedProx 的实证比较，评估 FedDANE 在真实联邦学习场景中的实际可行性。
• 识别梯度修正项和不精确 Hessian 近似在联邦优化中的局限性，为未来方法设计提供指导。

提出的方法

• 通过使用设备子集近似全局梯度，将不精确 DANE 适配到联邦学习中，避免计算全网络梯度。
• 构建一个包含近端项和梯度修正项的局部子问题，以实现近似牛顿型更新方向。
• 采用两轮通信协议：第一轮收集来自部分设备的本地梯度，第二轮将更新后的模型发送回服务器。
• 引入惩罚参数 μ 以控制近端项，确保局部子问题的强凸性和稳定性。
• 允许每个设备在更新全局模型前执行多个本地训练轮次，以平衡通信与计算开销。
• 将该方法应用于凸和非凸目标函数，并在 Hessian 和利普希茨常数满足弱假设的条件下进行理论收敛分析。

实验结果

研究问题

• RQ1 不精确 DANE 框架能否成功适配到低设备参与度和统计异构性的联邦学习场景？
• RQ2 在非独立同分布（non-i.i.d.）数据的现实联邦设置中，FedDANE 是否比 FedAvg 和 FedProx 具有更快的收敛速度？
• RQ3 设备参与率和数据异构性如何影响 FedDANE 相较于基线方法的性能表现？
• RQ4 梯度修正项在 FedDANE 的实际性能中起到何种作用？其是否可能在实践中产生负面影响？
• RQ5 FedDANE 的理论收敛性在实际中于何种条件下会失效？其主要失效模式是什么？

主要发现

• 在合成数据集和真实联邦数据集（包括 FEMNIST、Sent140 和 Shakespeare）上，FedDANE 在训练损失减少方面始终落后于 FedAvg 和 FedProx。
• 即使在极端有利的设置下（设备参与率达 78%，每台设备仅进行一个本地训练轮次），FedDANE 仍无法达到 FedAvg 和 FedProx 的性能水平。
• 性能不佳的主要原因在于：低设备参与度导致的梯度估计不精确，以及设备间存在的统计异构性。
• 虽然理论上有益，但 FedDANE 中的梯度修正项在实践中引入了不稳定性并减缓了收敛速度。
• 实证结果表明，仅使用近端项而无梯度修正的 FedProx 在计算开销更小的情况下实现了更优的性能。
• FedDANE 的两轮通信机制增加了延迟和通信成本，进一步降低了其实际应用价值，尽管其具备理论优势。