[论文解读] Deep Quaternion Features for Privacy Protection

Hao Zhang, Yi-Ting Chen+4 more|arXiv (Cornell University)|Mar 18, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用 9

一句话总结

本文提出了一种四元数值神经网络（QNN），通过将敏感信息编码到四元数特征的随机相位中，保护输入隐私，即使攻击者获得模型权重和中间特征，也无法重建输入。该方法在实现强隐私保护的同时，准确率下降极少，计算成本远低于同态加密，优于复值网络和现有的隐私保护基线方法。

ABSTRACT

We propose a method to revise the neural network to construct the quaternion-valued neural network (QNN), in order to prevent intermediate-layer features from leaking input information. The QNN uses quaternion-valued features, where each element is a quaternion. The QNN hides input information into a random phase of quaternion-valued features. Even if attackers have obtained network parameters and intermediate-layer features, they cannot extract input information without knowing the target phase. In this way, the QNN can effectively protect the input privacy. Besides, the output accuracy of QNNs only degrades mildly compared to traditional neural networks, and the computational cost is much less than other privacy-preserving methods.

研究动机与目标

• 解决深度神经网络中间层特征带来的隐私泄露风险日益加剧的问题。
• 开发一种隐私保护方法，不显著降低模型准确率或增加计算成本。
• 在原始数据无法在本地处理的联邦学习或外包学习环境中，实现安全的特征共享。
• 提供一种通用的、与网络架构无关的方法，将传统实值网络转换为隐私保护型QNN。

提出的方法

• 将传统实值神经网络转换为四元数值网络（QNN），其中中间特征以四元数表示。
• 在编码阶段将输入信息编码到四元数特征的随机相位中，作为私有密钥。
• 在处理模块中确保旋转等变性，使各层间相位旋转一致保留。
• 修改标准操作（如ReLU、批归一化）以在四元数空间中保持旋转等变性。
• 应用对抗学习进一步混淆目标相位，阻碍攻击者对相位的估计。
• 使用已知相位的解码器反转旋转，恢复准确输出。

实验结果

研究问题

• RQ1 四元数值特征能否有效隐藏输入信息，使攻击者即使访问中间层特征和模型参数也无法恢复？
• RQ2 QNN在重建攻击和推理攻击下的隐私保护性能，与复值网络和同态加密相比如何？
• RQ3 与基线隐私保护方法相比，QNN方法对模型准确率和计算效率的影响程度如何？
• RQ4 QNN框架是否可泛化至不同神经网络架构，而无需进行重大架构重构？

主要发现

• QNN在CIFAR-10上的重建误差为0.0011，显著高于其他模型，表明隐私保护能力更强。
• QNN的平均差异角度Δθ为3.56°，表明攻击者难以估计正确相位。
• 人工标注者在90%的重建样本中未能识别原始输入，表明身份推断的重建失败率极高。
• QNN中估计样本的排名高于复值网络，表明相位恢复难度更大。
• QNN的推理时间与标准DNN相当，远快于同态加密（如Gazelle），某些情况下提速达10倍。
• QNN的分类误差率与原始DNN相比保持在1%以内，表明在强隐私保证下准确率下降极小。