[论文解读] A Quasi-Newton Method Based Vertical Federated Learning Framework for Logistic Regression
该论文提出一种用于逻辑回归的准牛顿垂直联邦学习框架，使用可加同态加密以减少通信轮次，在每轮成本适中的情况下实现比一阶 SGD 基线更快的收敛。
Data privacy and security becomes a major concern in building machine learning models from different data providers. Federated learning shows promise by leaving data at providers locally and exchanging encrypted information. This paper studies the vertical federated learning structure for logistic regression where the data sets at two parties have the same sample IDs but own disjoint subsets of features. Existing frameworks adopt the first-order stochastic gradient descent algorithm, which requires large number of communication rounds. To address the communication challenge, we propose a quasi-Newton method based vertical federated learning framework for logistic regression under the additively homomorphic encryption scheme. Our approach can considerably reduce the number of communication rounds with a little additional communication cost per round. Numerical results demonstrate the advantages of our approach over the first-order method.
研究动机与目标
- 在数据在两方纵向分割时，推动隐私保护的协作学习。
- 开发一种准牛顿方法以加速纵向 FL 中逻辑回归的收敛。
- 在控制每轮额外通信成本的同时减少通信轮次。
- 利用可加同态加密实现安全的梯度与损失计算。
- 提供与基于一阶 SGD 的纵向 FL 方法相比的实证证据。
提出的方法
- 采用逻辑损失的泰勒近似，以在可加同态加密下实现加密计算。
- 使用子采样的海森信息并在每 L 次迭代更新曲率以稳定准牛顿更新。
- 通过在参与方 A 和 B 之间交换加密中间值来计算加密的损失和梯度。
- 在协调器处汇聚加密梯度和损失，以计算下降方向 g̃ = H g，学习率 η。
- 使用带内存 M 的有限内存 BFGS 风格方案来更新逆海森矩阵 H，以及批次 S 和 SH。
- 表明每轮的通信成本是有界的，并与基于 SGD 的纵向 FL 进行对比。
实验结果
研究问题
- RQ1一种随机准牛顿方法是否能在逻辑回归的纵向联邦学习中减少通信轮次？
- RQ2在加密设置下使用子采样海森矩阵时，每轮通信成本与总轮次数之间的权衡如何？
- RQ3在收敛性和性能方面，所提框架与基于一阶 SGD 的纵向 FL 方法相比如何？
- RQ4在实现更快收敛的同时，是否通过可加同态加密保持安全计算？
主要发现
- 准牛顿纵向 FL 框架相较于基线 SGD 减少了通信轮次。
- 在实验中按 SH 与 L 的选择，方法在保持测试数据损失和 AUC 相似的前提下实现更快的收敛（更少的训练轮次/epochs）。
- 基于加密的框架单轮成本略高，但通过利用曲率信息减少了总通信轮次。
- 在信用评分数据集上的实验表明在若干场景中，提出的方法具有更少的 epochs、以及等效或更好的性能指标（Loss、AUC）。
- 总体而言，该方法在研究的纵向分割设定下表现出对第一阶方法的通信效率改进。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。