[论文解读] DeepObfuscation: Securing the Structure of Convolutional Neural Networks via Knowledge Distillation

Hui Xu, Yuxin Su+4 more|arXiv (Cornell University)|Jun 27, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用 14

一句话总结

本文提出 DeepObfuscation，一种新颖的方法，通过知识蒸馏技术，利用浅层、顺序的卷积模块模拟深层特征提取器，以保护卷积神经网络（CNN）免受结构盗用。该方法在保持准确率的同时，使逆向工程变得不可行，因为混淆后的模型既更高效，又对微调和迁移学习攻击具有更强的抵抗力。

ABSTRACT

This paper investigates the piracy problem of deep learning models. Designing and training a well-performing model is generally expensive. However, when releasing them, attackers may reverse engineer the models and pirate their design. This paper, therefore, proposes deep learning obfuscation, aiming at obstructing attackers from pirating a deep learning model. In particular, we focus on obfuscating convolutional neural networks (CNN), a widely employed type of deep learning architectures for image recognition. Our approach obfuscates a CNN model eventually by simulating its feature extractor with a shallow and sequential convolutional block. To this end, we employ a recursive simulation method and a joint training method to train the simulation network. The joint training method leverages both the intermediate knowledge generated by a feature extractor and data labels to train a simulation network. In this way, we can obtain an obfuscated model without accuracy loss. We have verified the feasibility of our approach with three prevalent CNNs, i.e., GoogLeNet, ResNet, and DenseNet. Although these networks are very deep with tens or hundreds of layers, we can simulate them in a shallow network including only five or seven convolutional layers. The obfuscated models are even more efficient than the original models. Our obfuscation approach is very effective to protect the critical structure of a deep learning model from being exposed to attackers. Moreover, it can also thwart attackers from pirating the model with transfer learning or incremental learning techniques because the shallow simulation network bears poor learning ability. To our best knowledge, this paper serves as a first attempt to obfuscate deep learning models, which may shed light on more future studies.

研究动机与目标

• 为应对日益严重的深度学习模型盗用威胁，即攻击者逆向工程或窃取精心设计、训练成本高昂的 CNN 架构。
• 保护深度学习模型的结构完整性，特别是 SOTA CNN（如 GoogLeNet、ResNet 和 DenseNet）中的复杂特征提取器。
• 开发一种混淆技术，在保持推理准确率的同时，最大限度减少对攻击者的结构泄露。
• 通过降低混淆模型的微调能力，增强其对迁移学习和增量学习攻击的防御能力。
• 通过引入结构混淆——该领域首个此类方法——建立深度学习安全的新范式。

提出的方法

• 该方法采用递归模拟过程：首先模拟单个 Inception 块，然后在后续轮次中递归模拟整个模拟特征提取器。
• 采用联合训练方法训练模拟网络，利用原始模型的中间特征图和最终数据标签作为监督信号。
• 模拟网络是一个仅包含五至七层的浅层、顺序卷积块，设计上结构简单且天然不擅长微调。
• 通过将原始模型的中间激活与模拟网络的中间激活对齐，应用知识蒸馏，确保功能等价性，但不保留结构相似性。
• 训练过程迭代优化模拟网络，使其在所有层上均匹配原始模型的行为，从而保持准确率。
• 混淆后的模型以独立、高效的网络形式部署，模仿原始模型的推理输出，但隐藏其内部架构。

实验结果

研究问题

• RQ1 是否能通过仅含五至七层的浅层、顺序卷积网络，在不损失准确率的情况下，精确模拟深层 CNN 的复杂特征提取器？
• RQ2 由于其有限的学习能力，混淆后的模型是否对迁移学习和增量学习攻击仍具有鲁棒性？
• RQ3 递归模拟与联合训练方法在混淆过程中，能在多大程度上保持原始模型的功能行为？
• RQ4 该混淆方法在多大程度上能有效防止对原始模型架构的逆向工程？
• RQ5 混淆后的模型是否可能比原始模型更高效，同时保持或提升推理速度？

主要发现

• 在 CIFAR-100 和 STL-10 数据集上，混淆模型的推理准确率与原始模型完全一致，未观察到可测量的准确率下降。
• 混淆模型比原始模型更高效，其参数量更少，且由于结构更浅，推理速度更快。
• 仅含五至七层的模拟网络，成功模拟了 GoogLeNet、ResNet-18 和 DenseNet-121 等深层网络的行为。
• 微调实验表明，混淆模型的学习能力显著降低，使其对通过增量学习进行参数盗用具有更强抵抗力。
• 迁移学习实验表明，当在新任务上微调时，混淆模型表现极差，证实其对通过迁移学习进行模型盗用具有强抵抗能力。
• 递归模拟与联合训练方法实现了对复杂架构的高保真功能模仿，同时保持了结构上的隐蔽性。