[论文解读] Vertical federated learning based on DFP and BFGS

Wenjie Song, Xuan Shen|arXiv (Cornell University)|Jan 23, 2021

Privacy-Preserving Technologies in Data参考文献 13被引用 5

一句话总结

该论文提出了一种名为BDFL的新颖纵向联邦学习框架，结合DFP与BFGS拟牛顿方法，以提升逻辑回归中的收敛速度并减少通信轮次。通过利用带有安全聚合的二阶优化，BDFL在非独立同分布数据和隐私约束条件下，相较于SGD以及单独的DFP/BFGS方法，实现了更高的模型准确率和更快的收敛速度。

ABSTRACT

As data privacy is gradually valued by people, federated learning(FL) has emerged because of its potential to protect data. FL uses homomorphic encryption and differential privacy encryption on the promise of ensuring data security to realize distributed machine learning by exchanging encrypted information between different data providers. However, there are still many problems in FL, such as the communication efficiency between the client and the server and the data is non-iid. In order to solve the two problems mentioned above, we propose a novel vertical federated learning framework based on the DFP and the BFGS(denoted as BDFL), then apply it to logistic regression. Finally, we perform experiments using real datasets to test efficiency of BDFL framework.

研究动机与目标

• 解决纵向联邦学习中SGD等一阶方法存在的高通信成本与收敛缓慢问题。
• 克服现有拟牛顿方法（如BFGS）在非独立同分布数据设置下的局限性及通信效率不足的问题。
• 开发一种安全、隐私保护的框架，实现在各方之间不共享原始数据的前提下协同模型训练。
• 通过将DFP与BFGS整合到统一的优化框架中，提升纵向联邦学习中的模型准确率与收敛速度。
• 在严格的数据隐私约束下，通过真实世界数据集验证所提出BDFL框架的有效性。

提出的方法

• 提出一种新型纵向联邦学习框架BDFL，结合DFP与BFGS拟牛顿方法，以提升优化效率。
• 采用安全多方计算（MPC）与同态加密技术，实现仅持有数据的参与方A与同时持有数据与标签的参与方B之间的加密梯度交换。
• 为每方分别维护Hessian矩阵的近似值 $ C_k^A $ 与 $ C_k^B $，并使用Broyden–Fletcher–Goldfarb–Shanno（BFGS）与David–Fletcher–Powell（DFP）更新规则进行迭代更新。
• 使用拟牛顿更新公式进行参数更新：$ \boldsymbol{w}^{k+1} = \boldsymbol{w}^k - \alpha_k C_k \nabla \ell(\boldsymbol{w}^k) $，其中 $ C_k $ 为组合后的Hessian矩阵近似值。
• 引入一种安全聚合协议，将梯度加密后发送至中心服务器（参与方C）进行解密与聚合，从而保护数据隐私。
• 每轮训练中应用学习率衰减与收敛性检查，以确保训练稳定并实现早期停止。

实验结果

研究问题

• RQ1 在纵向联邦学习框架中结合DFP与BFGS是否能减少通信轮次，同时保持或提升模型准确率？
• RQ2 在非独立同分布数据分布下，所提出的BDFL框架相较于SGD及独立的BFGS/DFP方法表现如何？
• RQ3 BDFL框架在实现跨数据孤岛有效模型训练的同时，能在多大程度上保护数据隐私？
• RQ4 在纵向联邦学习中使用二阶优化是否能带来比一阶方法更快的收敛速度与更好的泛化性能？
• RQ5 安全梯度聚合对训练过程的可扩展性与鲁棒性有何影响？

主要发现

• 在信用卡数据集上，BDFL实现了91.35%的测试准确率，优于SGD（90.90%）和BFGS（95.10%）在乳腺癌数据集上的表现，且在保持BFGS性能的同时显著降低了通信开销。
• 在乳腺癌数据集上，BDFL实现了91.35%的测试准确率，略高于BFGS（91.29%），并显著优于DFP（85.57%）与SGD（86.26%）。
• 训练损失曲线显示，BDFL的收敛速度优于DFP与BFGS，且显著快于SGD，尤其在训练初期阶段。
• 与SGD及独立的拟牛顿方法相比，BDFL显著减少了达到收敛所需的通信轮次，证明了其在通信效率方面的优势。
• 该框架通过确保不共享任何原始数据，仅交换加密梯度与中间值，成功实现了数据隐私保护。
• 尽管收敛速度与准确率有所提升，但模型的计算开销依然较高，且收敛速度未达预期，表明未来工作仍有优化空间。