[论文解读] Differentially Private Vertical Federated Learning

Thilina Ranbaduge, Ming Ding|arXiv (Cornell University)|Nov 13, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了一种差异隐私垂直联邦学习框架，通过在训练过程中向模型梯度注入校准噪声来增强隐私保护。通过在差异隐私预算与模型性能之间取得平衡，该方法在垂直划分数据的协作学习中实现了隐私保护与实用性的实际权衡。

ABSTRACT

A successful machine learning (ML) algorithm often relies on a large amount of high-quality data to train well-performed models. Supervised learning approaches, such as deep learning techniques, generate high-quality ML functions for real-life applications, however with large costs and human efforts to label training data. Recent advancements in federated learning (FL) allow multiple data owners or organisations to collaboratively train a machine learning model without sharing raw data. In this light, vertical FL allows organisations to build a global model when the participating organisations have vertically partitioned data. Further, in the vertical FL setting the participating organisation generally requires fewer resources compared to sharing data directly, enabling lightweight and scalable distributed training solutions. However, privacy protection in vertical FL is challenging due to the communication of intermediate outputs and the gradients of model update. This invites adversary entities to infer other organisations underlying data. Thus, in this paper, we aim to explore how to protect the privacy of individual organisation data in a differential privacy (DP) setting. We run experiments with different real-world datasets and DP budgets. Our experimental results show that a trade-off point needs to be found to achieve a balance between the vertical FL performance and privacy protection in terms of the amount of perturbation noise.

研究动机与目标

• 解决在垂直联邦学习（VFL）中保护敏感数据的挑战，其中组织共享同一用户群体的特征，但不共享原始数据。
• 缓解在VFL训练过程中交换的中间模型更新和梯度所导致的隐私泄露问题。
• 引入差异隐私（DP）作为VFL中的正式隐私保障，确保从共享梯度中无法重构出单个组织的数据。
• 通过实验评估，识别出隐私（DP预算）与模型性能之间的最优权衡。
• 为现实世界中具有垂直划分数据的场景，提供一种可扩展且轻量级的隐私保护协作机器学习解决方案。

提出的方法

• 通过在数据所有者与中央服务器之间交换的梯度中注入校准噪声，将差异隐私应用于垂直联邦学习中的梯度更新。
• 使用梯度裁剪来限制模型更新的敏感度，这是应用差异隐私的前提条件。
• 在VFL训练过程中，将DP噪声注入到随机梯度下降（SGD）优化过程中。
• 应用拉普拉斯机制来扰动梯度，确保每次更新都满足(ε, δ)-差异隐私。
• 使用真实世界数据集，评估不同DP预算（ε）对模型准确率和隐私保障的影响。
• 通过基于裁剪范数和隐私预算调整噪声尺度，最小化性能下降，以保持模型实用性。

实验结果

研究问题

• RQ1 如何有效将差异隐私应用于垂直联邦学习，以防止从推理攻击中泄露敏感数据？
• RQ2 在VFL中对梯度应用DP噪声时，模型性能与隐私保护之间的权衡如何？
• RQ3 改变DP预算（ε）如何影响VFL中全局模型的准确率和收敛性？
• RQ4 DP噪声注入能否防止VFL中的标签推理攻击，特别是在某一方持有标签而其他方持有特征的情况下？
• RQ5 在VFL中，裁剪范数与噪声尺度的最优配置是什么，以在隐私与模型实用性之间实现平衡？

主要发现

• 必须在模型性能与隐私保护之间进行权衡，因为增加DP预算（ε）可提高模型准确率，但会降低隐私保障。
• 在VFL的梯度中添加DP噪声会降低模型实用性，但通过仔细调整裁剪范数与噪声尺度，可将影响最小化。
• 在真实世界数据集上的实验结果表明，中等DP预算（例如ε ≈ 1–3）可在隐私与模型准确率之间实现合理平衡。
• 所提出的方法通过模糊梯度信息，有效降低了标签推理攻击的风险，即使某一方持有敏感标签也如此。
• 该框架保持了可扩展性和高效性，使其适用于现实世界应用，尤其适用于数据所有者不愿共享原始数据的场景。
• 本研究强调了未来在隐私保护机制（如联邦遗忘和伦理数据使用）方面进一步研究的必要性。