[论文解读] Morphed Learning: Towards Privacy-Preserving for Deep Learning Based Applications

Juncheng Shen, Juzheng Liu+2 more|arXiv (Cornell University)|Sep 20, 2018

Privacy-Preserving Technologies in Data被引用 1

一句话总结

Morphed Learning (MoLe) 是一种隐私保护的深度学习框架，通过数据变形和增强卷积（Aug-Conv）层实现安全的数据共享，其在 VGG-16 与 CIFAR-10 上的计算开销仅为 9%，数据传输开销为 5.12%，显著优于 GAZELLE 的效率与安全性，攻击者恢复原始数据的成功率低至 7.9×10⁻⁹⁰。

ABSTRACT

Privacy recently emerges as a severe concern in deep learning, that is, sensitive data must be prohibited from being shared with the third party during deep neural network development. In this paper, we propose Morphed Learning (MoLe), an efficient and secure scheme to deliver deep learning data. MoLe has two main components: data morphing and Augmented Convolutional (Aug-Conv) layer. Data morphing allows data providers to send morphed data without privacy information, while Aug-Conv layer helps deep learning developers to apply their networks on the morphed data without performance penalty. MoLe provides stronger security while introducing lower overhead compared to GAZELLE (USENIX Security 2018), which is another method with no performance penalty on the neural network. When using MoLe for VGG-16 network on CIFAR dataset, the computational overhead is only 9% and the data transmission overhead is 5.12%. As a comparison, GAZELLE has computational overhead of 10,000 times and data transmission overhead of 421,000 times. In this setting, the attack success rate of adversary is 7.9 x 10^{-90} for MoLe and 2.9 x 10^{-30} for GAZELLE, respectively.

研究动机与目标

• 解决深度学习中日益增长的数据隐私问题，确保敏感数据不会被共享给第三方。
• 克服现有安全深度学习框架在计算或通信开销方面过高的局限性。
• 设计一种在保持模型性能的同时消除数据共享过程中隐私泄露的方案。
• 在对抗性恢复攻击下，提供强于先前工作的安全保证，特别是针对 GAZELLE 等方案。
• 通过最小化性能损失，实现隐私保护深度学习的实用化部署。

提出的方法

• 在数据传输前对原始数据应用数据变形，将其转换为具有隐私保护特性的形式，以消除可识别或敏感的特征。
• 引入增强卷积（Aug-Conv）层，使神经网络能够处理变形后的数据而不会导致性能下降。
• 设计 Aug-Conv 层，使其在前向与反向传播过程中隐式地逆转变形效果，从而保持模型精度。
• 确保变形过程仅由授权方可逆，防止攻击者进行重建。
• 使用密码学与变换技术，使变形后的数据对未经授权的实体而言与随机噪声无法区分。
• 形式化威胁模型以量化攻击者恢复原始数据的成功率，从而实现严谨的安全性评估。

实验结果

研究问题

• RQ1 与现有解决方案相比，该深度学习框架能否在计算和通信开销极低的情况下实现安全的数据共享？
• RQ2 所提出的变形与 Aug-Conv 机制在消除隐私泄露的同时，对模型精度的保持效果如何？
• RQ3 攻击者从变形输入中恢复原始数据的成功率是多少？与先前工作相比有何差异？
• RQ4 在隐私保护约束下，系统能否在 VGG-16 与 CIFAR-10 等标准基准上保持高性能？
• RQ5 在恢复概率与开销方面，MoLe 的安全性强度与 GAZELLE 相比如何实现定量比较？

主要发现

• MoLe 在 VGG-16 与 CIFAR-10 上部署时，计算开销仅为 9%，而 GAZELLE 的开销高达 10,000×。
• MoLe 的数据传输开销降低至 5.12%，远低于 GAZELLE 的 421,000× 增加。
• 攻击者恢复原始数据的成功率为 7.9×10⁻⁹⁰，显著低于 GAZELLE 的 2.9×10⁻³⁰。
• Aug-Conv 层能够在不造成性能下降的情况下实现对变形数据的准确推理，保持模型精度。
• MoLe 在提供更强隐私保障的同时，其计算与通信效率远超 GAZELLE。
• 变形机制能有效去除数据中的敏感信息，同时保留其在深度学习训练与推理中的可用性。