[论文解读] Feature Reconstruction Attacks and Countermeasures of DNN training in Vertical Federated Learning

Peng Ye, Zhifeng Jiang+3 more|arXiv (Cornell University)|Oct 13, 2022

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本文首次系统研究了在使用深度神经网络（DNN）的纵向联邦学习（VFL）中，特征重建攻击的问题，证明了诚实但好奇的主动方可以通过基于搜索的算法，高效地重建被动方的二值特征。作者提出了一种新颖的防御机制，通过误导攻击者使其恢复伪造特征，从而在不降低模型准确率的前提下，以极低的开销阻止特征重建。

ABSTRACT

Federated learning (FL) has increasingly been deployed, in its vertical form, among organizations to facilitate secure collaborative training over siloed data. In vertical FL (VFL), participants hold disjoint features of the same set of sample instances. Among them, only one has labels. This participant, known as the active party, initiates the training and interacts with the other participants, known as the passive parties. Despite the increasing adoption of VFL, it remains largely unknown if and how the active party can extract feature data from the passive party, especially when training deep neural network (DNN) models. This paper makes the first attempt to study the feature security problem of DNN training in VFL. We consider a DNN model partitioned between active and passive parties, where the latter only holds a subset of the input layer and exhibits some categorical features of binary values. Using a reduction from the Exact Cover problem, we prove that reconstructing those binary features is NP-hard. Through analysis, we demonstrate that, unless the feature dimension is exceedingly large, it remains feasible, both theoretically and practically, to launch a reconstruction attack with an efficient search-based algorithm that prevails over current feature protection techniques. To address this problem, we develop a novel feature protection scheme against the reconstruction attack that effectively misleads the search to some pre-specified random values. With an extensive set of experiments, we show that our protection scheme sustains the feature reconstruction attack in various VFL applications at no expense of accuracy loss.

研究动机与目标

• 研究纵向联邦学习（VFL）中的主动方是否以及如何在DNN训练过程中，仅利用本地数据和交换的中间结果，重建被动方的私有二值特征。
• 在现实假设下分析特征重建攻击的理论可行性与实际效率，特别是当攻击者既无辅助数据也无完整模型权重时的情况。
• 设计一种鲁棒的防御机制，保护二值特征免遭重建，同时不降低模型准确率。
• 在多种DNN架构和真实世界的VFL应用场景中，评估所提攻击与防御的有效性。

提出的方法

• 通过从精确覆盖问题（Exact Cover problem）的归约，将特征重建问题形式化为NP难问题，从而确立其理论可行性边界。
• 提出一种基于搜索的攻击算法，通过利用输入层的线性特性以及DNN训练中中间梯度的结构，高效重建二值特征。
• 设计一种伪装防御机制，通过在模型输入层注入预设的随机值，误导攻击者将目标转向伪造特征而非真实特征。
• 通过适配攻击算法以作用于中间结果的总和，在多方设置中实现安全聚合，同时在被动方使用聚合机制时仍保持攻击的有效性。
• 将攻击扩展至独热编码的类别型特征，通过恢复其底层的二值向量，实现对原始类别值的重建。
• 通过在真实世界数据集（如adult、covertype、credit）上进行大量实验，验证了防御机制的有效性，证明在攻击下模型准确率无显著损失。

实验结果

研究问题

• RQ1 仅利用主动方的本地数据和交换的中间结果，是否在理论上和实践中可行地重建VFL中被动方的二值特征？
• RQ2 特征空间的维度如何影响特征重建攻击的成功率与计算成本？
• RQ3 能否设计一种防御机制，有效误导攻击者使其恢复伪造特征，同时不降低模型性能？
• RQ4 当被动方使用安全聚合机制，且在多个被动方参与的多方VFL设置中，该攻击的性能如何？
• RQ5 该攻击在何种程度上可扩展至通过独热编码或多值表示的类别型特征？

主要发现

• 基于从精确覆盖问题的归约，二值特征的特征重建攻击在理论上为NP难问题，但在特征维度不过分庞大的情况下，实际中是可行的。
• 所提出的基于搜索的攻击算法在多种DNN架构（如MLP、ResNet）和真实世界数据集（如adult、covertype）上，均以高准确率成功重建了二值特征。
• 伪装防御机制通过将搜索目标引导至预设的随机值，有效防止了攻击者恢复真实特征，即使面对自适应攻击也表现稳健。
• 该防御机制在所有评估任务中，将模型准确率保持在基线水平的0.1%以内，表明性能开销可忽略不计。
• 即使被动方使用安全聚合，攻击仍保持有效性，因为中间结果的总和仍可被利用进行重建。
• 当模型切分点位于非线性激活函数之后（如输入层之后），攻击会失效，因为攻击所依赖的线性特性已丧失。