[论文解读] Interpretable Complex-Valued Neural Networks for Privacy Protection
本文提出一种方法，通过将实值特征转换为复值特征，并将输入信息嵌入到随机选择的相位中，以增强深度神经网络的隐私保护。该方法在保持模型准确率的同时，显著提高了攻击者推断输入属性或重建原始输入的难度，实现了强大的隐私保护，且计算开销极低。
Previous studies have found that an adversary attacker can often infer unintended input information from intermediate-layer features. We study the possibility of preventing such adversarial inference, yet without too much accuracy degradation. We propose a generic method to revise the neural network to boost the challenge of inferring input attributes from features, while maintaining highly accurate outputs. In particular, the method transforms real-valued features into complex-valued ones, in which the input is hidden in a randomized phase of the transformed features. The knowledge of the phase acts like a key, with which any party can easily recover the output from the processing result, but without which the party can neither recover the output nor distinguish the original input. Preliminary experiments on various datasets and network structures have shown that our method significantly diminishes the adversary's ability in inferring about the input while largely preserves the resulting accuracy.
研究动机与目标
- 解决将深度神经网络的中间层特征卸载到不可信云服务器时的隐私泄露问题。
- 防止攻击者从处理后的特征中推断出敏感的输入属性或重建原始输入。
- 在引入强隐私保证的同时，通过特征转换保持高模型准确率。
- 设计一种通用且高效的方案，训练过程中无需额外监督或标注。
提出的方法
- 通过随机相位角旋转，将实值特征转换为复值特征。
- 采用复值神经网络架构，即使在特征旋转的情况下仍能保持功能完整性，确保输出对旋转保持不变。
- 集成生成对抗网络（GAN）以合成特征，强制实现k-匿名性并隐藏原始输入模式。
- 确保只有知晓相位的参与方可恢复正确输出，而其他攻击者无法区分原始输入或输出。
- 保持特征的分段线性，以在转换后保留模型准确率。
- 该方法可通用应用于多种DNN架构和数据集，无需重新训练或监督。
实验结果
研究问题
- RQ1通过随机相位将实值特征转换为复值特征，能否有效隐藏输入信息，使攻击者难以获取？
- RQ2与原始实值网络相比，该方法在模型准确率上的退化程度如何？
- RQ3该方法在防止未用于训练的隐藏属性的属性推断攻击方面表现如何？
- RQ4即使攻击者使用先进的反演技术，该方法是否仍能有效防止输入重建攻击？
- RQ5与基线模型相比，该方法的计算开销如何？
主要发现
- 复值DNN的分类错误率与基线模型相当，仅带来适度的计算开销。
- 在所有数据集和模型中，输入图像的重建误差显著升高，表明对反演攻击具有强抵抗力。
- 攻击者估计的相位角误差主要集中在(π/4, π/2)范围内，表明真实相位无法被可靠恢复。
- 在CIFAR-100上，对隐藏属性的推断攻击错误率接近随机选择（99%），证明了强大的隐私保护能力。
- k-NN及其他攻击模型在处理转换后的特征时，错误率始终较高，证实了k-匿名性。
- 运行时间与基线模型相当，CelebA和CIFAR-100的批量大小分别为128和100。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。