[论文解读] Practical Defences Against Model Inversion Attacks for Split Neural Networks

Tom Titcombe, Adam James Hall+2 more|arXiv (Cornell University)|Apr 12, 2021

Privacy-Preserving Technologies in Data参考文献 31被引用 26

一句话总结

本文研究 SplitNN 联邦学习中的模型反演攻击，并提出一种简单的拉普拉斯噪声防御，在 NoPeekNN 上进行对比评估，并分析 MNIST 上的隐私-效用权衡。

ABSTRACT

We describe a threat model under which a split network-based federated learning system is susceptible to a model inversion attack by a malicious computational server. We demonstrate that the attack can be successfully performed with limited knowledge of the data distribution by the attacker. We propose a simple additive noise method to defend against model inversion, finding that the method can significantly reduce attack efficacy at an acceptable accuracy trade-off on MNIST. Furthermore, we show that NoPeekNN, an existing defensive method, protects different information from exposure, suggesting that a combined defence is necessary to fully protect private user data.

研究动机与目标

• 为 SplitNN 定义一个威胁模型，其中一个恶意服务器可以执行模型反演以恢复输入数据。
• 评估在数据可用性和先验知识条件下攻击有效性的实际局限性。
• 提出单边噪声防御并与 NoPeekNN 进行比较。
• 评估组合防御并在 MNIST 上讨论隐私-效用权衡。

提出的方法

• 在数据拥有者将中间数据表示发送给服务器之前，引入叠加的拉普拉斯噪声。
• 在训练分类器时使用 NoPeekNN 损失加权和噪声防御，探索 alpha 在 {0.1,0.5,1.0}，以及噪声尺度 b 在 {0.1,0.5,1.0}。
• 在不相交的数据集上训练攻击模型以从中间表示重构输入，并改变攻击者的知识水平（例如以 EMNIST 作为代理）。
• 从定性（重构结果）和定量（原始数据与重构数据之间的距离相关性，以及对准确率的影响）方面比较防御效果。
• 讨论将训练时差分隐私（DP）机制集成作为未来工作，以保护记忆中的训练数据。

实验结果

研究问题

• RQ1 在对数据分布知识有限的情况下，SplitNN 中的恶意计算服务器是否可以通过模型反演攻击提取输入数据？
• RQ2 与 NoPeekNN 相比，简单的加性拉普拉斯噪声防御在减轻 SplitNN 的模型反演方面有多有效？
• RQ3 应用噪声防御、NoPeekNN 或它们的组合对模型效用（分类准确率）有何影响？
• RQ4 将噪声与 NoPeekNN 结合是否在 MNIST 上提供更强健的隐私-效用平衡？
• RQ5 攻击者的知识水平和数据集规模如何影响重构成功率？

主要发现

噪声尺度	NoPeekNN 权重	准确率 (%)	距离相关性
0.0	0.1	98.04	0.472 ± 0.004
0.0	0.2	97.80	0.390 ± 0.003
0.0	0.5	97.90	0.368 ± 0.004
0.1	0.0	98.19	0.804 ± 0.004
0.1	0.1	97.84	0.474 ± 0.003
0.1	0.5	98.00	0.411 ± 0.004
0.2	0.0	98.00	0.811 ± 0.004
0.2	0.1	97.98	0.491 ± 0.003
0.2	0.5	97.46	0.411 ± 0.003
0.5	0.0	98.24	0.795 ± 0.004
0.5	0.1	97.52	0.525 ± 0.003
0.5	0.5	97.38	0.437 ± 0.003

• 噪声防御和 NoPeekNN 都不会显著降低 MNIST 的分类准确率。
• NoPeekNN 降低输入与中间数据之间的距离相关性，但在较低防御强度下，重构仍然具有信息性。
• 当噪声尺度为 1.0 时，加性拉普拉斯噪声可以大幅破坏重构，同时保持合理的准确性。
• NoPeekNN 与噪声的组合可以提供互补的隐私利益，重构在定性上存在差异。
• 在知识有限且数据集较小时，攻击者的效果仍然可能，揭示了 SplitNN 的实际隐私风险。