[论文解读] Feature Space Hijacking Attacks against Differentially Private Split Learning

Grzegorz Gawron, Philip Stubbings|arXiv (Cornell University)|Jan 11, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文表明，特征空间劫持攻击（FSHA）能够在差分隐私分割学习系统中成功重建私有客户端数据，即使在低隐私预算（ε）下亦然。尽管通过TensorFlow-Privacy应用了差分隐私，该攻击仍实现了高保真度重建，揭示了当攻击者控制服务器并可访问与私有数据分布匹配的公共数据时，DP无法充分防范此类重建攻击。

ABSTRACT

Split learning and differential privacy are technologies with growing potential to help with privacy-compliant advanced analytics on distributed datasets. Attacks against split learning are an important evaluation tool and have been receiving increased research attention recently. This work's contribution is applying a recent feature space hijacking attack (FSHA) to the learning process of a split neural network enhanced with differential privacy (DP), using a client-side off-the-shelf DP optimizer. The FSHA attack obtains client's private data reconstruction with low error rates at arbitrarily set DP epsilon levels. We also experiment with dimensionality reduction as a potential attack risk mitigation and show that it might help to some extent. We discuss the reasons why differential privacy is not an effective protection in this setting and mention potential other risk mitigation methods.

研究动机与目标

• 评估差分隐私（DP）在保护分割学习架构免受特征空间劫持攻击（FSHA）方面的作用效果。
• 探究在分割学习中对客户端模型训练应用DP时，DP是否能缓解FSHA。
• 探索降维作为在差分隐私分割学习中抵御FSHA的潜在防御机制。
• 评估公共数据集与私有数据集之间数据分布相似性对FSHA成功的影响。
• 识别当服务器被攻破且攻击者可访问客户端训练模型时，DP在保护私有数据方面的局限性。

提出的方法

• 将FSHA应用于客户端使用TensorFlow-Privacy提供的差分隐私优化器（DPOptimizer）的分割神经网络。
• 使用服务端自编码器与判别器，从中间特征表示中重建客户端的私有输入。
• 通过在TensorFlow-Privacy库中应用梯度裁剪与噪声注入，对客户端模型训练应用DP。
• 在MNIST与Fashion-MNIST数据集上，于不同DP ε水平下评估攻击性能，并对比有无降维的情况。
• 在训练前对输入数据应用基于PCA的降维，以检验其对FSHA重建质量的影响。
• 使用训练好的自编码器重建私有输入，并与原始输入对比以衡量重建保真度。

实验结果

研究问题

• RQ1 即使在客户端模型中应用了差分隐私，特征空间劫持攻击是否仍能重建分割学习系统中的私有数据？
• RQ2 隐私预算ε的选择如何影响在差分隐私分割学习中FSHA的成功率？
• RQ3 对输入数据进行降维是否能降低FSHA在重建私有数据方面的有效性？
• RQ4 公共与私有数据分布之间的相似性在多大程度上影响FSHA的重建质量？
• RQ5 为何当攻击者控制服务器并可访问客户端模型参数时，差分隐私无法有效防范FSHA？

主要发现

• 即使在低隐私预算（ε = 0.1）下，FSHA在MNIST与Fashion-MNIST上仍实现了高保真度的私有数据重建，表明DP无法阻止此类重建攻击。
• 引入差分隐私并未显著阻碍FSHA的收敛或重建质量，表明DP噪声不足以阻止此类攻击。
• 重建结果仍具有可识别性且语义上合理，尽管应用了DP，衣物图案与面部结构等特征仍得以保留。
• 通过PCA实现的降维降低了重建质量，尤其在主成分数量较少时（如2或4个成分），使个体更难被识别。
• 攻击的成功高度依赖于公共与私有数据分布之间的相似性，分布越相似，重建效果越好。
• 结果表明，仅靠差分隐私不足以保护分割学习免受服务器端FSHA攻击，需引入额外防护措施，如安全执行环境或数据预处理。