[论文解读] DeepStego: Protecting Intellectual Property of Deep Neural Networks by Steganography

Zheng Li, Ge Han+2 more|arXiv (Cornell University)|Mar 5, 2019

Adversarial Robustness in Machine Learning参考文献 11被引用 2

一句话总结

本文提出 DeepStego，一种隐蔽的水印方案，可在训练过程中将所有权指纹嵌入深度神经网络，确保无需访问模型内部权重即可实现黑盒验证，且不会降低模型性能。该方法在对模型准确率影响极小的情况下，实现了鲁棒、安全且符合法律规范的知识产权保护。

ABSTRACT

Deep Neural Networks (DNNs) has shown great success in various challenging tasks. Training these networks is computationally expensive and requires vast amounts of training data. Therefore, it is necessary to design a technology to protect the intellectual property (IP) of the model and externally verify the ownership of the model in a black-box way. Previous studies either fail to meet the black-box requirement or have not dealt with several forms of security and legal problems. In this paper, we firstly propose a novel steganographic scheme for watermarking Deep Neural Networks in the process of training. This scheme is the first feasible scheme to protect DNNs which perfectly solves the problems of safety and legality. We demonstrate experimentally that such a watermark has no obvious influence on the main task of model design and can successfully verify the ownership of the model. Furthermore, we show a rather robustness by simulating our scheme in a real situation.

研究动机与目标

• 解决现有方法在保护训练完成的深度神经网络（DNN）知识产权（IP）方面缺乏安全、黑盒且符合法律要求的不足。
• 设计一种可无缝集成到 DNN 训练过程中的水印技术，且不损害模型准确率或功能。
• 确保水印在模型微调、剪枝或其他常见模型修改后仍可检测。
• 提供一种既能满足安全要求又能符合法律规范的解决方案，以实现真实场景中 DNN 的知识产权所有权验证。

提出的方法

• 利用隐蔽编码技术，在反向传播过程中直接将所有权水印嵌入深度神经网络的权重中。
• 采用一种新颖的编码策略，将所有权信息以对标准模型评估不可见的方式映射到网络内部参数中。
• 设计水印以抵御常见模型转换（如微调、量化、剪枝）的影响。
• 确保水印可通过黑盒查询机制提取，而无需访问模型内部权重。
• 通过最小化对原始训练动态和损失函数的扰动，保持模型性能。
• 通过端到端训练和真实世界攻击模拟验证该方案的鲁棒性与可检测性。

实验结果

研究问题

• RQ1 是否可以在训练过程中将水印嵌入 DNN，使其在不降低模型准确率的前提下，仍可在黑盒环境下被检测？
• RQ2 该水印对微调、剪枝或量化等常见模型修改的鲁棒性如何？
• RQ3 该水印方案是否能维持知识产权所有权验证所必需的安全与法律完整性？
• RQ4 该水印过程对 DNN 主要训练任务性能的影响程度如何？

主要发现

• 所提出的水印方案在训练过程中成功将所有权信息嵌入 DNN，且对模型准确率无明显影响。
• 水印在经历多种模型转换后仍可被检测，表明其在真实场景中具有强鲁棒性。
• 可通过黑盒查询实现所有权验证，满足实际且安全的知识产权保护需求。
• 该方案是首个在 DNN 水印中同时解决安全性、合法性和实用性的方法，克服了以往方法的局限性。
• 实验结果证实，水印过程不会降低模型在主要学习任务上的性能。
• 该方法在不可见性与可检测性之间实现了良好平衡，适用于真实世界部署。