[论文解读] Practical Privacy Attacks on Vertical Federated Learning

Haiqin Weng, Juntao Zhang+5 more|arXiv (Cornell University)|Nov 18, 2020

Privacy-Preserving Technologies in Data被引用 8

一句话总结

本文提出两种针对纵向联邦学习（VFL）协议的实用化隐私攻击——反向乘法攻击与反向求和攻击，证明即使在不违反协议规范的前提下，也能从加密的中间输出中重建私有训练数据。这些攻击具有高效性、隐蔽性，且对先验知识要求极低，揭示了即便采用加密技术，以效率为导向的VFL设计仍可能造成严重的隐私泄露。

ABSTRACT

Federated learning (FL) is a privacy-preserving learning paradigm that allows multiple parities to jointly train a powerful machine learning model without sharing their private data. According to the form of collaboration, FL can be further divided into horizontal federated learning (HFL) and vertical federated learning (VFL). In HFL, participants share the same feature space and collaborate on data samples, while in VFL, participants share the same sample IDs and collaborate on features. VFL has a broader scope of applications and is arguably more suitable for joint model training between large enterprises. In this paper, we focus on VFL and investigate potential privacy leakage in real-world VFL frameworks. We design and implement two practical privacy attacks: reverse multiplication attack for the logistic regression VFL protocol; and reverse sum attack for the XGBoost VFL protocol. We empirically show that the two attacks are (1) effective - the adversary can successfully steal the private training data, even when the intermediate outputs are encrypted to protect data privacy; (2) evasive - the attacks do not deviate from the protocol specification nor deteriorate the accuracy of the target model; and (3) easy - the adversary needs little prior knowledge about the data distribution of the target participant. We also show the leaked information is as effective as the raw training data in training an alternative classifier. We further discuss potential countermeasures and their challenges, which we hope can lead to several promising research directions.

研究动机与目标

• 调查在使用基于加密的协议的前提下，真实世界纵向联邦学习（VFL）框架中仍存在的隐私泄露风险。
• 设计实用攻击，可在不偏离协议规范的前提下，从VFL中的中间加密输出中重构私有训练数据。
• 评估这些攻击在FATE、PySyft和TF Federated等广泛使用的VFL框架上的有效性与隐蔽性。
• 证明通过这些攻击泄露的信息在训练替代分类器时与原始数据具有同等效果，凸显隐私泄露的严重性。
• 讨论潜在的防御措施，并识别构建更鲁棒的隐私保护VFL协议所面临的开放性挑战。

提出的方法

• 针对VFL中的安全逻辑回归协议设计反向乘法攻击，利用梯度更新的乘法结构，逆向推导出私有特征。
• 为基于XGBoost的SecureBoost协议开发反向求和攻击，利用中间输出的加法特性，重构私有数据。
• 在FATE框架中实现两种攻击，以在真实世界基准数据集上评估其有效性。
• 使用统计与优化技术，从未加密的聚合模型更新中推断私有特征，而无需访问原始数据。
• 通过使用泄露信息训练替代分类器，验证重构数据的高可用性，其性能与使用原始数据训练的模型相当。
• 确保攻击保持协议合规性，且不降低目标模型的准确性，从而避免被检测机制发现。

实验结果

研究问题

• RQ1 在纵向联邦学习中，即使协议设计用于保护隐私，是否仍能从加密的中间输出中重构出私有训练数据？
• RQ2 以效率为导向的VFL协议在多大程度上损害了数据隐私，特别是在可信协调方持有解密密钥的情况下？
• RQ3 反向乘法与反向求和攻击在仅掌握极少关于数据分布先验知识的前提下，恢复私有特征的效率如何？
• RQ4 通过这些攻击泄露的信息是否足以训练出高性能的替代分类器，表明其在现实世界中存在隐私风险？
• RQ5 防御此类攻击面临哪些实际挑战？这些挑战又为构建更安全的VFL系统指明了哪些新的研究方向？

主要发现

• 反向乘法攻击通过利用加密梯度的乘法结构，在基于逻辑回归的VFL中成功恢复了私有特征。
• 反向求和攻击通过分析中间输出的加法特性，即使在加密状态下，也能在基于XGBoost的VFL中重构私有特征。
• 两种攻击均具有效果：在基准数据集上，使用泄露数据训练的替代分类器性能与使用原始数据训练的模型相当。
• 这些攻击具有隐蔽性：它们不偏离协议规范，且不降低目标模型的准确性，因而难以被检测机制发现。
• 这些攻击对目标参与方数据分布的先验知识要求极低，使其在真实世界的企业协作场景中具有高度实用性。
• 结果表明，以效率为导向的VFL设计即使采用端到端加密，也可能无意中增加隐私风险。