[论文解读] VerIDeep: Verifying Integrity of Deep Neural Networks through Sensitive-Sample Fingerprinting

Zecheng He, Tianwei Zhang+1 more|arXiv (Cornell University)|Aug 9, 2018

Adversarial Robustness in Machine Learning参考文献 43被引用 13

一句话总结

VerIDeep 提出了一种低成本、黑盒的方法，通过使用敏感样本指纹（Sensitive-Sample fingerprints）来验证云环境中深度神经网络（DNN）的完整性——即通过极小的、经过变换的输入，使模型输出对权重变化高度敏感。该方法在少于10次模型查询的情况下，对各类完整性攻击的检测准确率超过99%，使客户无需访问模型权重即可验证模型完整性。

ABSTRACT

Deep learning has become popular, and numerous cloud-based services are provided to help customers develop and deploy deep learning applications. Meanwhile, various attack techniques have also been discovered to stealthily compromise the model's integrity. When a cloud customer deploys a deep learning model in the cloud and serves it to end-users, it is important for him to be able to verify that the deployed model has not been tampered with, and the model's integrity is protected. We propose a new low-cost and self-served methodology for customers to verify that the model deployed in the cloud is intact, while having only black-box access (e.g., via APIs) to the deployed model. Customers can detect arbitrary changes to their deep learning models. Specifically, we define exttt{Sensitive-Sample} fingerprints, which are a small set of transformed inputs that make the model outputs sensitive to the model's parameters. Even small weight changes can be clearly reflected in the model outputs, and observed by the customer. Our experiments on different types of model integrity attacks show that we can detect model integrity breaches with high accuracy ($>$99\%) and low overhead ($

研究动机与目标

• 为解决在不受信的云环境中部署深度神经网络（DNN）时，验证其完整性的关键安全挑战。
• 使云客户能够仅通过黑盒 API 访问，检测任意模型完整性破坏行为，例如后门注入或权重修改。
• 开发一种自助式、低开销的验证机制，不依赖模型权重或可信硬件。
• 在最小化模型查询次数的同时，确保高检测准确率，并避免误报。

提出的方法

• 该方法引入了敏感样本（Sensitive-Samples）：一组经过变换的小型输入，可放大输出对模型权重变化的敏感度。
• 将敏感样本的生成建模为一个优化问题，确保即使权重发生微小扰动，也能产生可检测的输出变化。
• 通过施加约束条件，使敏感样本在视觉上与原始输入保持相似，降低被攻击者检测到的风险。
• 利用基于梯度的优化方法，识别在权重变化下能最大化输出方差的输入扰动。
• 验证过程包括使用这些敏感样本查询已部署的模型，并将输出与已知基线进行比较。
• 该方法对模型架构具有完全的透明性，适用于多种 DNN 任务和攻击类型。

实验结果

研究问题

• RQ1 能否通过黑盒方法以高准确率和低开销检测到如后门或权重修改等细微且有针对性的模型完整性攻击？
• RQ2 如何生成敏感样本，使其对权重变化高度敏感，同时与正常输入难以区分？
• RQ3 所提出的方法是否能在不访问模型权重或训练数据的情况下，检测到特洛伊木马攻击和模型压缩攻击？
• RQ4 在不同攻击类型下，可靠验证模型完整性的最少模型查询次数是多少？
• RQ5 该方法在面对不修改模型权重的逃避攻击和投毒攻击时表现如何？

主要发现

• VerIDeep 对各种 DNN 完整性攻击（包括后门攻击和模型压缩攻击）的检测率超过99%。
• 该方法在验证完整性时，所需黑盒模型查询次数少于10次，具有极高的效率。
• 该方法保证零误报，确保合法模型不会被错误地标记为受损。
• 敏感样本在视觉相似性约束下具有鲁棒性，使攻击者难以察觉并规避检测。
• 该方法在多种 DNN 架构和任务中均表现有效，包括图像分类和迁移学习场景。
• 即使攻击者仅修改了模型权重的一小部分，该技术也能成功检测到模型完整性被破坏。