[论文解读] Dropping Activation Outputs with Localized First-layer Deep Network for Enhancing User Privacy and Data Security

Hao Dong, Chao Wu+2 more|arXiv (Cornell University)|Nov 20, 2017

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出一种局部化第一层深度网络架构，通过在本地设备上执行初始深度网络计算、本地应用激活函数，并采用“丢弃激活输出”技术使传输数据不可逆，从而增强用户隐私保护。该方法在无需额外加密开销的情况下实现强隐私保护，支持安全的模型推理与训练，同时保护敏感健康数据的机密性。

ABSTRACT

Deep learning methods can play a crucial role in anomaly detection, prediction, and supporting decision making for applications like personal health-care, pervasive body sensing, etc. However, current architecture of deep networks suffers the privacy issue that users need to give out their data to the model (typically hosted in a server or a cluster on Cloud) for training or prediction. This problem is getting more severe for those sensitive health-care or medical data (e.g fMRI or body sensors measures like EEG signals). In addition to this, there is also a security risk of leaking these data during the data transmission from user to the model (especially when it's through Internet). Targeting at these issues, in this paper we proposed a new architecture for deep network in which users don't reveal their original data to the model. In our method, feed-forward propagation and data encryption are combined into one process: we migrate the first layer of deep network to users' local devices, and apply the activation functions locally, and then use "dropping activation output" method to make the output non-invertible. The resulting approach is able to make model prediction without accessing users' sensitive raw data. Experiment conducted in this paper showed that our approach achieves the desirable privacy protection requirement, and demonstrated several advantages over the traditional approach with encryption / decryption

研究动机与目标

• 解决将原始敏感数据（如fMRI或EEG信号）传输至远程服务器进行深度学习推理与训练所面临的隐私与安全风险。
• 通过将数据混淆直接集成到深度网络的前向传播过程中，消除对传统加密/解密的依赖。
• 实现在服务器从未访问用户原始数据的环境下安全的模型预测与训练，即使在诚实但好奇的威胁模型下亦成立。
• 证明通过丢弃激活输出可有效防止原始输入的重建，尤其当结合不可逆或精心随机化的激活函数时。

提出的方法

• 将深度神经网络的第一层迁移至用户的本地设备，在设备上完成所有初始计算，包括权重乘法和偏置加法。
• 在原始输入数据上本地应用激活函数（例如sigmoid、ReLU），在传输前生成激活输出。
• 通过在发送至服务器前随机移除部分激活值，实现“丢弃激活输出”，使数据不可逆。
• 使用输入中最大激活值作为随机丢弃选择的种子，确保同一输入在多次传输中保持一致且确定的丢弃行为。
• 将前向传播与数据混淆整合为单一过程，无需单独的加密与解密步骤。
• 提出一种隐私保护的误差反向传播机制，通过将网络拆分至本地与远程组件，使服务器能够在不访问原始用户数据的情况下训练模型。

实验结果

研究问题

• RQ1 在深度神经网络的第一层中丢弃激活输出，是否能有效防止即使对可逆激活函数（如sigmoid）的原始输入数据重建？
• RQ2 与传统加密相比，该方法在计算成本、安全性及实时应用可行性方面表现如何？
• RQ3 该方法是否能在确保传输数据无法被逆向恢复为敏感输入的同时，保持模型性能？
• RQ4 不同激活函数（如sigmoid与ReLU）对所提方法的安全性与隐私保障有何影响？
• RQ5 是否可能在不暴露原始数据的前提下，安全地跨本地-服务器边界执行误差反向传播？

主要发现

• 通过随机输出丢弃使数据不可逆，该方法成功防止了在诚实但好奇威胁模型下从传输的激活输出中重建原始输入数据。
• 对具有800个输出和0.5%丢弃率的sigmoid激活MNIST分类器，一次蛮力攻击在Titan X Pascal GPU上约需5,083小时，表明其计算上极不可行。
• 即使在0.5%至2%的丢弃率下，重建输入与原始输入之间的KL散度仍保持较低水平（例如1.35–2.04），表明虽然重建困难，但模型效用得以保留。
• 使用最大激活值作为丢弃选择的随机种子，可确保同一输入的丢弃行为一致，防止通过重复查询实现重建。
• 该方法在无需额外加密开销的情况下实现数据隐私，因混淆已天然集成于前向传播过程中。
• 该方法支持安全的误差反向传播，使服务器可在不访问原始用户数据的前提下更新模型权重，从而支持隐私保护的模型学习。