[论文解读] FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning

Anis Elgabli, Chaouki Ben Issaid+4 more|arXiv (Cornell University)|Jun 17, 2022

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

FedNew 提出了一种通信高效且隐私保护的联邦学习框架，该框架通过基于交替方向乘乘法（ADMM）的近似方法替代了直接传输 Hessian 矩阵和梯度。通过每轮仅使用一步 ADMM 和随机量化，FedNew 在保持客户端隐私的同时，相比基于精确 Hessian 矩阵的方法，将通信成本降低了最多 10 倍，并实现了比一阶方法更快的收敛速度。

ABSTRACT

Newton-type methods are popular in federated learning due to their fast convergence. Still, they suffer from two main issues, namely: low communication efficiency and low privacy due to the requirement of sending Hessian information from clients to parameter server (PS). In this work, we introduced a novel framework called FedNew in which there is no need to transmit Hessian information from clients to PS, hence resolving the bottleneck to improve communication efficiency. In addition, FedNew hides the gradient information and results in a privacy-preserving approach compared to the existing state-of-the-art. The core novel idea in FedNew is to introduce a two level framework, and alternate between updating the inverse Hessian-gradient product using only one alternating direction method of multipliers (ADMM) step and then performing the global model update using Newton's method. Though only one ADMM pass is used to approximate the inverse Hessian-gradient product at each iteration, we develop a novel theoretical approach to show the converging behavior of FedNew for convex problems. Additionally, a significant reduction in communication overhead is achieved by utilizing stochastic quantization. Numerical results using real datasets show the superiority of FedNew compared to existing methods in terms of communication costs.

研究动机与目标

• 解决第二阶联邦学习方法中固有的高通信成本和隐私泄露问题，这些方法需要传输 Hessian 矩阵和梯度信息。
• 开发一种框架，使利用二阶信息实现快速收敛，同时不将原始梯度或 Hessian 矩阵暴露给参数服务器。
• 在保持牛顿型方法收敛速度优势的同时，实现与一阶方法相当的通信效率。
• 通过基于 ADMM 的两级优化框架隐藏梯度和 Hessian 数据，确保隐私。
• 集成随机量化以进一步降低通信开销，同时不牺牲收敛性能。

提出的方法

• 引入两级优化框架：内层通过每轮仅使用一步 ADMM 来近似逆 Hessian-梯度乘积，外层执行类似牛顿的更新。
• 使用 ADMM 高效求解内层问题，实现在无需完整 Hessian 矩阵计算或传输的情况下快速收敛。
• 将逆 Hessian-梯度乘积近似为 $(\nabla^2 f(x^k))^{-1} \nabla f(x^k)$ 或固定初始 Hessian 版本 $(\nabla^2 f(x^0))^{-1} \nabla f(x^k)$，以降低计算成本。
• 应用随机量化压缩模型更新，显著减少每个客户端的传输比特数。
• 设计算法使得客户端从不发送原始梯度或 Hessian 矩阵，仅发送压缩后的、具有隐私保护性质的近似值。
• 在凸性假设下证明其渐近收敛到非精确牛顿方向，并通过实证验证表明其在真实数据集上具有鲁棒性能。

实验结果

研究问题

• RQ1 第二阶联邦学习方法是否能在不传输原始梯度或 Hessian 矩阵的情况下实现快速收敛，从而保护客户端隐私？
• RQ2 每轮仅使用一步 ADMM 是否能提供足够的精度来近似逆 Hessian-梯度乘积，同时保持收敛性？
• RQ3 通过量化手段，通信成本最多能降低多少，同时仍保持收敛速度和模型精度？
• RQ4 在通信轮次和比特数方面，FedNew 的性能与一阶方法（FedGD）和精确 Hessian 基于方法（Newton Zero）相比如何？
• RQ5 使用固定 Hessian（例如初始迭代的 Hessian）是否能在降低计算开销的同时保持收敛速度？

主要发现

• FedNew-(r=1)（每轮更新 Hessian 矩阵）的收敛速度优于 FedGD，且与 Newton Zero 的收敛速度相当，实现了最小通信轮次下的最优性能。
• FedNew-(r=0)（使用初始迭代的固定 Hessian 矩阵）在保持隐私的同时，将计算量降低了最多 10 倍，且收敛速度与 Newton Zero 相当。
• FedNew-(r=0.1)（每 10 轮更新一次 Hessian 矩阵）的收敛速度几乎与 FedNew-(r=1) 相同，但计算量降低了 10 倍。
• Q-FedNew（FedNew 的量化变体）相比 FedNew-(r=1) 将通信比特数减少了最多 10 倍，同时保持相同的最优性间隙，展现出显著的通信节省效果。
• 对于 w8a 数据集，Q-FedNew-(r=1) 在几乎减少 10 倍传输比特数的情况下，实现了 $10^{-3}$ 的最优性间隙，证明了量化的有效性。
• Newton Zero 因需传输完整 Hessian 矩阵而产生高昂的初始通信成本，使其在大规模联邦学习中不切实际，而 FedNew 完全避免了这一瓶颈。