[论文解读] Defending against Reconstruction Attack in Vertical Federated Learning

Jiankai Sun, Yuanshun Yao+3 more|arXiv (Cornell University)|Jul 21, 2021

Privacy-Preserving Technologies in Data参考文献 24被引用 10

一句话总结

本文提出了一种用于垂直联邦学习的防御框架 DRAVL，结合对抗性重建、噪声正则化和距离相关性最小化，以保护输入隐私。该方法在工业规模广告数据集上有效降低了输入重建攻击的风险，同时保持了较高的模型效用。

ABSTRACT

Recently researchers have studied input leakage problems in Federated Learning (FL) where a malicious party can reconstruct sensitive training inputs provided by users from shared gradient. It raises concerns about FL since input leakage contradicts the privacy-preserving intention of using FL. Despite a relatively rich literature on attacks and defenses of input reconstruction in Horizontal FL, input leakage and protection in vertical FL starts to draw researcher's attention recently. In this paper, we study how to defend against input leakage attacks in Vertical FL. We design an adversarial training-based framework that contains three modules: adversarial reconstruction, noise regularization, and distance correlation minimization. Those modules can not only be employed individually but also applied together since they are independent to each other. Through extensive experiments on a large-scale industrial online advertising dataset, we show our framework is effective in protecting input privacy while retaining the model utility.

研究动机与目标

• 解决垂直联邦学习（vFL）中日益严重的输入重建攻击问题，即恶意主动方可能从共享嵌入中推断出敏感数据。
• 开发一种防御框架，在不损害 vFL 场景下模型性能的前提下保护输入隐私。
• 设计模块化、独立的组件，可单独使用或组合使用，以增强对重建攻击的鲁棒性。
• 在真实世界的大规模工业数据集上评估该框架，以证明其在隐私与效用之间权衡的实际有效性。

提出的方法

• 引入对抗性重建模块，训练被动方模型以最大化攻击者的重建误差，从而增加输入恢复的难度。
• 通过在训练过程中向切割层嵌入添加随机噪声，实施噪声正则化，以误导攻击者优化方向至无关方向。
• 最小化原始输入与切割层嵌入之间的距离相关性，以减少统计依赖性并限制信息泄露。
• 设计三个模块为相互独立且可组合的形式，允许根据威胁模型和隐私需求灵活部署。
• 使用结合了对抗性损失、噪声正则化项和距离相关性项的联合损失函数来训练特征提取器。
• 采用博弈论视角，其中防御者（被动方）针对模拟攻击者（对抗性重建器）进行训练，以增强模型对重建攻击的抗性。

实验结果

研究问题

• RQ1 基于模块化和对抗性训练的框架是否能有效防御垂直联邦学习中的输入重建攻击？
• RQ2 对抗性重建、噪声正则化和距离相关性最小化这三个组件在单独使用和组合使用时，对隐私保护的贡献分别如何？
• RQ3 在 vFL 中防御重建攻击时，输入隐私与模型效用之间的权衡关系如何？
• RQ4 与简单的噪声扰动相比，所提出的框架在隐私-效用平衡和鲁棒性方面表现如何？
• RQ5 该防御框架是否能在显著降低原始输入与共享嵌入之间相关性的同时，保持高模型性能？

主要发现

• DRAVL 框架显著降低了原始输入与切割层嵌入之间的距离相关性（dCor），证明了其强大的隐私保护能力。
• 与基线模型相比，DRAVL 在输入重建任务中表现出更低的均方误差（MSE），表明攻击者成功恢复输入的能力被有效削弱。
• 该框架保持了较高的模型效用，即使在强隐私约束下，AUC 值仍接近基线水平。
• 与简单的高斯噪声注入相比，DRAVL 实现了更优的隐私-效用权衡，在不降低模型性能的前提下更有效地降低了 dCor。
• 三个模块可独立或联合使用，联合使用时可实现最佳的整体隐私保护效果。
• 实验表明，调节基于扰动的防御方法的噪声强度远比使用 DRAVL 框架更具挑战性，后者提供了更稳定且高效的防御机制。