[论文解读] FedV: Privacy-Preserving Federated Learning over Vertically Partitioned Data

Runhua Xu, Nathalie Baracaldo+4 more|arXiv (Cornell University)|Mar 5, 2021

Privacy-Preserving Technologies in Data参考文献 57被引用 16

一句话总结

FedV 是一种用于垂直划分数据的隐私保护联邦学习框架，采用功能加密技术实现跨多个参与方的安全、非交互式梯度聚合，无需点对点通信。与最先进方法相比，其训练速度提升10%-70%，数据传输量减少80%-90%，支持线性模型、逻辑回归和SVM，无需近似或噪声扰动。

ABSTRACT

Federated learning (FL) has been proposed to allow collaborative training of machine learning (ML) models among multiple parties where each party can keep its data private. In this paradigm, only model updates, such as model weights or gradients, are shared. Many existing approaches have focused on horizontal FL, where each party has the entire feature set and labels in the training data set. However, many real scenarios follow a vertically-partitioned FL setup, where a complete feature set is formed only when all the datasets from the parties are combined, and the labels are only available to a single party. Privacy-preserving vertical FL is challenging because complete sets of labels and features are not owned by one entity. Existing approaches for vertical FL require multiple peer-to-peer communications among parties, leading to lengthy training times, and are restricted to (approximated) linear models and just two parties. To close this gap, we propose FedV, a framework for secure gradient computation in vertical settings for several widely used ML models such as linear models, logistic regression, and support vector machines. FedV removes the need for peer-to-peer communication among parties by using functional encryption schemes; this allows FedV to achieve faster training times. It also works for larger and changing sets of parties. We empirically demonstrate the applicability for multiple types of ML models and show a reduction of 10%-70% of training time and 80% to 90% in data transfer with respect to the state-of-the-art approaches.

研究动机与目标

• 解决现有垂直联邦学习（VFL）框架在依赖点对点通信或近似技术时存在的效率低下和可扩展性受限问题。
• 在无任何一方同时持有所有特征或标签的垂直划分数据环境中，实现安全、非交互式的模型梯度聚合。
• 支持广泛的机器学习模型，包括线性模型、逻辑回归和SVM，无需使用泰勒近似或差分隐私噪声。
• 支持动态参与机制，允许参与方在训练过程中加入或退出，而不会中断聚合过程。
• 相比基于安全多方计算或同态加密的现有联邦学习解决方案，降低通信开销和计算成本。

提出的方法

• FedV 采用功能加密（FE）技术，使聚合方能够在不获知单个参与方梯度的情况下计算多个参与方梯度之和，从而保障隐私。
• 该框架采用两阶段非交互式安全聚合协议，消除了参与方之间点对点通信的需求。
• 通过功能加密安全计算特征向量与梯度之间的内积，实现在不暴露原始数据的前提下进行模型更新。
• 该方法支持线性和非线性模型，包括使用核函数的逻辑回归和SVM，且不依赖泰勒级数近似。
• 参与方使用FE对其本地梯度进行加密，聚合方解密聚合结果以更新全局模型。
• 系统设计支持动态参与，允许参与方在训练过程中自由加入或退出，而无需重新配置。

实验结果

研究问题

• RQ1 能否设计一种隐私保护的VFL框架，消除参与方之间的点对点通信，同时保持模型准确性？
• RQ2 功能加密能否有效用于在垂直划分数据环境中实现安全、非交互式的梯度聚合？
• RQ3 FedV 能否在不使用近似或噪声注入的前提下，支持包括SVM等非线性模型在内的广泛机器学习模型？
• RQ4 与基于安全多方计算或同态加密的现有VFL解决方案相比，FedV在训练效率和通信成本方面表现如何？
• RQ5 FedV 能否支持动态参与机制，使参与方在训练过程中可自由加入或退出，而不影响安全性或收敛性？

主要发现

• 与依赖点对点通信或安全多方计算的最先进VFL方法相比，FedV 将训练时间减少了10%至70%。
• 通过消除多轮点对点通信的需求，该框架将数据传输量减少了80%至90%。
• FedV 支持线性模型、逻辑回归和带核函数的SVM的训练，无需使用泰勒近似，从而保持了模型准确性。
• 系统支持动态参与机制，允许参与方在训练过程中加入或退出，而不会中断聚合过程。
• FedV 中基于功能加密的聚合机制实现了安全的梯度计算，而不会暴露个体梯度或原始数据。
• 在大规模或网络不稳定环境中，FedV 在通信效率和计算成本方面均优于现有方法。