[论文解读] Secure Watermark for Deep Neural Networks with Multi-task Learning

Fangqi Li, Shilin Wang|arXiv (Cornell University)|Mar 18, 2021

Adversarial Robustness in Machine Learning参考文献 61被引用 8

一句话总结

本文提出了一种基于多任务学习（MTL）的水印框架，将作者身份信息作为辅助任务嵌入深度神经网络中，确保在微调、剪枝和覆盖攻击下具有鲁棒性。该方法通过任务特定正则化器和去中心化验证协议，在功能保持性与安全性方面表现优异，相较于基于后门的方法，在多种数据集上的准确率、鲁棒性和通用性方面均表现更优。

ABSTRACT

Deep neural networks are playing an important role in many real-life applications. After being trained with abundant data and computing resources, a deep neural network model providing service is endowed with economic value. An important prerequisite in commercializing and protecting deep neural networks is the reliable identification of their genuine author. To meet this goal, watermarking schemes that embed the author's identity information into the networks have been proposed. However, current schemes can hardly meet all the necessary requirements for securely proving the authorship and mostly focus on models for classification. To explicitly meet the formal definitions of the security requirements and increase the applicability of deep neural network watermarking schemes, we propose a new framework based on multi-task learning. By treating the watermark embedding as an extra task, most of the security requirements are explicitly formulated and met with well-designed regularizers, the rest is guaranteed by using components from cryptography. Moreover, a decentralized verification protocol is proposed to standardize the ownership verification. The experiment results show that the proposed scheme is flexible, secure, and robust, hence a promising candidate in deep learning model protection.

研究动机与目标

• 为解决现有DNN水印方案中缺乏正式安全定义和鲁棒性的问题。
• 克服基于后门方法的局限性，这些方法易受微调、剪枝和专门检测攻击的影响而被移除。
• 开发一种水印框架，在保持高模型性能的同时，实现可靠且去中心化的版权验证。
• 确保水印在常见模型修改（如微调和神经元剪枝）下保持完整。
• 将水印技术推广至图像分类任务之外，支持多样化的深度学习应用。

提出的方法

• 水印作为多任务学习框架中的附加任务嵌入，其中主任务为原始DNN目标（如图像分类），而副任务用于验证作者身份。
• 引入专用的水印分支，配备一个分类器头，基于内部激活值学习预测作者身份。
• 设计任务特定正则化器以强制实现安全属性：功能保持性、对微调和剪枝的鲁棒性，以及对覆盖攻击的抵抗力。
• 正则化器显式编码安全需求，如性能下降最小化以及在对抗性修改下保持高水印准确率。
• 采用去中心化验证协议以实现无需依赖中心化权威机构的版权验证，提升信任度与可扩展性。
• 集成密码学组件以确保完整性并防止伪造，同时将水印与模型功能解耦，避免后门漏洞。

实验结果

研究问题

• RQ1 能否为DNN水印方案提供正式的安全保障，以抵御常见的模型修改（如微调和神经元剪枝）？
• RQ2 如何使水印在攻击者试图替换嵌入身份的覆盖攻击下依然保持鲁棒？
• RQ3 能否在不依赖后门的前提下，使水印框架在嵌入作者身份信息的同时保持高主任务准确率？
• RQ4 如何实现标准化且去中心化的版权验证，以避免对可信第三方的依赖？
• RQ5 所提出的基于MTL的方法能否超越图像分类任务，在其他深度学习任务中实现泛化？

主要发现

• 在MNIST数据集上，该方法在微调后仍保持99.5%的主任务准确率和92.5%的水印验证准确率，显著优于Li等人[27]（14.5%）和Zhu等人[60]（7.0%）。
• 在CIFAR-100数据集上，该方法在微调后保持63.8%的主任务准确率和97.0%的水印准确率，远超基线方法（分别为1.2%和0.8%）。
• 在神经元剪枝攻击下，该方法在MNIST上的性能下降仅为2.2%，优于Zhu等人[60]的1.4%和Li等人[27]的0.9%，表明其具备更强的鲁棒性。
• 在覆盖攻击后，水印分支准确率仍高于0.7的阈值，波动范围控制在4.5%以内，证实其对关键信息替换具有抵抗能力。
• 该方法展现出优越的泛化能力，适用于非分类任务，并可通过更新正则化器适配新型模型调优算子。
• 去中心化验证协议实现了安全、无需信任的版权验证，显著提升了实际部署中的实用性与可扩展性。