[论文解读] Deep Serial Number: Computational Watermarking for DNN Intellectual Property Protection

Ruixiang Tang, Mengnan Du+1 more|arXiv (Cornell University)|Nov 17, 2020

Adversarial Robustness in Machine Learning参考文献 24被引用 9

一句话总结

本文提出了一种新型深度神经网络（DNN）知识产权保护框架——深度序列号（DSN），通过知识蒸馏将唯一序列号嵌入学生模型，确保模型仅在拥有有效序列号时才能正常运行。该方法在保持原始模型性能的同时，有效防止未经授权使用，并对白盒水印攻击表现出强健性。

ABSTRACT

In this paper, we present DSN (Deep Serial Number), a simple yet effective watermarking algorithm designed specifically for deep neural networks (DNNs). Unlike traditional methods that incorporate identification signals into DNNs, our approach explores a novel Intellectual Property (IP) protection mechanism for DNNs, effectively thwarting adversaries from using stolen networks. Inspired by the success of serial numbers in safeguarding conventional software IP, we propose the first implementation of serial number embedding within DNNs. To achieve this, DSN is integrated into a knowledge distillation framework, in which a private teacher DNN is initially trained. Subsequently, its knowledge is distilled and imparted to a series of customized student DNNs. Each customer DNN functions correctly only upon input of a valid serial number. Experimental results across various applications demonstrate DSN's efficacy in preventing unauthorized usage without compromising the original DNN performance. The experiments further show that DSN is resistant to different categories of watermark attacks.

研究动机与目标

• 解决现实应用中DNN模型被盗用和未经授权分发日益增长的威胁。
• 克服现有水印方法需白盒访问或易受迁移学习与移除攻击的局限性。
• 实现基于序列号的DNN访问控制机制，受传统软件许可机制启发。
• 确保仅持有有效序列号的授权用户才能部署和使用模型。
• 开发一种对对抗攻击具有鲁棒性、兼容黑盒环境且实用的DNN知识产权保护系统。

提出的方法

• 首先在标注数据集上训练教师DNN，随后将其知识蒸馏至多个学生DNN。
• 在蒸馏过程中，为每个学生DNN定制唯一序列号，该序列号被编码至模型的推理逻辑中。
• 模型仅在推理时接收到正确序列号作为输入时才能产生正确预测。
• 序列号未嵌入模型参数或权重中，而是通过一种条件推理机制强制执行，该机制在处理前验证输入。
• 该框架利用知识蒸馏在保留原始模型性能的同时，将序列号整合为功能性访问控制机制。
• 由于序列号验证与模型功能紧密耦合，该方法对白盒攻击（包括模型提取和水印移除）具有强健性。

实验结果

研究问题

• RQ1 能否有效将序列号机制嵌入DNN，以防止未经授权的部署？
• RQ2 如何在不损害原始模型性能的前提下强制执行序列号？
• RQ3 所提方法是否对白盒攻击（包括模型提取和水印移除）具有鲁棒性？
• RQ4 系统能否支持多个拥有唯一序列号的授权用户，同时保持安全性和可扩展性？
• RQ5 与现有水印技术相比，DSN框架在鲁棒性和实用性方面表现如何？

主要发现

• DSN通过要求有效序列号才能正确推理，成功防止了DNN的未经授权使用，确保仅授权用户可操作模型。
• 该方法在多种应用场景中保持了原始DNN的性能，主任务准确率未出现可测量下降。
• DSN对水印攻击（包括抑制、移除和覆盖）表现出极强的抵抗能力，即使攻击者拥有框架的完整白盒访问权限亦无法突破。
• 该框架对迁移学习攻击具有鲁棒性，攻击者无法通过替换顶层层来绕过序列号要求。
• 在真实世界数据集上的实验结果表明，序列号被有效强制执行为功能性访问控制机制，而不仅是统计水印。
• 该方法具有实际部署可行性，支持黑盒所有权验证，并可为拥有唯一序列号的多个客户实现可扩展分发。