[论文解读] Accelerating Vertical Federated Learning

Dongqi Cai, Tao Fan+5 more|arXiv (Cornell University)|Jul 23, 2022

Privacy-Preserving Technologies in Data参考文献 37被引用 4

一句话总结

本文提出了一种抗延迟节点且计算高效的系统，以在同态加密（HE）环境下加速纵向联邦学习（VFL）。通过结合备份工作节点方案以减少异构环境中的通信开销，以及利用主成分分析（PCA）对输入矩阵进行压缩，该方法将通信开销最多降低65.26%，计算开销最多降低40.66%，显著提升了VFL效率，同时不损害安全性。

ABSTRACT

Privacy, security and data governance constraints rule out a brute force process in the integration of cross-silo data, which inherits the development of the Internet of Things. Federated learning is proposed to ensure that all parties can collaboratively complete the training task while the data is not out of the local. Vertical federated learning is a specialization of federated learning for distributed features. To preserve privacy, homomorphic encryption is applied to enable encrypted operations without decryption. Nevertheless, together with a robust security guarantee, homomorphic encryption brings extra communication and computation overhead. In this paper, we analyze the current bottlenecks of vertical federated learning under homomorphic encryption comprehensively and numerically. We propose a straggler-resilient and computation-efficient accelerating system that reduces the communication overhead in heterogeneous scenarios by 65.26% at most and reduces the computation overhead caused by homomorphic encryption by 40.66% at most. Our system can improve the robustness and efficiency of the current vertical federated learning framework without loss of security.

研究动机与目标

• 为解决在同态加密（HE）环境下纵向联邦学习（VFL）中存在的高通信与计算开销问题，该问题阻碍了实际部署。
• 在工作节点速度与数据特征显著不同的异构环境中，提升系统的鲁棒性与效率。
• 减轻同态加密带来的计算负担，该技术会显著增大数据规模并使训练速度降低数个数量级。
• 在加速训练的同时保持强大的密码学安全性，确保跨机构之间的隐私保护协作。
• 使金融与医疗等数据隔离且隐私敏感的领域中实现跨行业协作成为可能。

提出的方法

• 采用抗延迟节点的备份工作节点方案，以缓解异构VFL环境中因慢速或无响应工作节点导致的通信延迟。
• 系统利用主成分分析（PCA）在同态加密前对输入特征矩阵进行压缩，减少需处理与加密的数据量。
• 通过允许聚合器接收n + b个工作节点中的前n个梯度，其余b个作为备份丢弃，从而避免等待所有工作节点，最小化通信开销。
• 通过确保所有中间结果在整个训练过程中始终保持加密状态，保护安全性，依赖同态加密实现隐私保护。
• 在FATE（联邦AI技术使能器）开源平台中实现该框架，以确保兼容性与实际应用可行性。
• 在具有多样化数据分布与计算异构性的现实VFL场景下对方法进行评估。

Figure 1 : Vertical federated learning. A specialization of federated learning for secure cross-silo cooperation learning.

实验结果

研究问题

• RQ1 如何在不牺牲安全性的前提下，减少异构VFL系统中的通信开销？
• RQ2 通过PCA实现输入矩阵压缩，能在多大程度上降低HE保护下的VFL计算成本？
• RQ3 备份工作节点策略是否能有效缓解VFL中的延迟节点问题，其中交换的是中间结果（而不仅仅是梯度）？
• RQ4 在加密VFL中应用基于PCA的压缩时，计算效率与模型准确率之间的权衡如何？
• RQ5 如何使VFL在隐私敏感行业中的真实世界跨孤岛协作中更具可扩展性与实用性？

主要发现

• 所提出的备份工作节点方案在异构VFL场景中最多可将通信开销降低65.26%。
• 基于PCA的输入压缩最多可将同态加密带来的计算开销降低40.66%。
• 系统通过在整个训练过程中保持端到端加密，维持了强大的密码学安全性。
• 加速效果未影响模型准确率，系统保持了与本地训练相近的训练性能。
• 该框架提升了系统的鲁棒性与效率，使VFL在金融、医疗及物联网应用中的实际部署更具可行性。
• 该方法与FATE平台兼容，可实现与现有工业联邦学习流水线的实用集成。

Figure 2 : The framework of vertical federated learning, where homomorphic encryption is applied to preserve privacy.