[论文解读] DeepMarks: A Digital Fingerprinting Framework for Deep Neural Networks

Huili Chen, Bita Darvish Rohani+1 more|arXiv (Cornell University)|Apr 10, 2018

Digital Media Forensic Detection参考文献 21被引用 42

一句话总结

DeepMarks 将独特指纹嵌入神经网络权重，采用正交和基于 BIBD 的编码来保护知识产权，在模型变换下实现所有者识别和共谋者检测。

ABSTRACT

This paper proposes DeepMarks, a novel end-to-end framework for systematic fingerprinting in the context of Deep Learning (DL). Remarkable progress has been made in the area of deep learning. Sharing the trained DL models has become a trend that is ubiquitous in various fields ranging from biomedical diagnosis to stock prediction. As the availability and popularity of pre-trained models are increasing, it is critical to protect the Intellectual Property (IP) of the model owner. DeepMarks introduces the first fingerprinting methodology that enables the model owner to embed unique fingerprints within the parameters (weights) of her model and later identify undesired usages of her distributed models. The proposed framework embeds the fingerprints in the Probability Density Function (pdf) of trainable weights by leveraging the extra capacity available in contemporary DL models. DeepMarks is robust against fingerprints collusion as well as network transformation attacks, including model compression and model fine-tuning. Extensive proof-of-concept evaluations on MNIST and CIFAR10 datasets, as well as a wide variety of deep neural networks architectures such as Wide Residual Networks (WRNs) and Convolutional Neural Networks (CNNs), corroborate the effectiveness and robustness of DeepMarks framework.

研究动机与目标

• 保护分布式深度学习模型的知识产权，通过在模型权重中嵌入唯一指纹而不牺牲准确性。
• 使所有者能够在模型分享场景中识别个体用户并检测共谋者。
• 提供可扩展、鲁棒的指纹识别框架，适用于不同的体系结构和数据集。
• 提出用于 DL 水印/指纹识别性能的度量指标和评估方法。

提出的方法

• 为每个用户分配一个 v 位的码向量（指纹），通过在选定层的权重分布中嵌入这一向量，辅以一个嵌入损失，加入到标准训练损失中。
• 通过使用一个加性嵌入项来在权重分布中嵌入指纹：L = L0 + γ MSE(fj − Xw) 其中 X 是一个秘密随机投影，w 是目标层的展平、均值化后的权重。
• 使用两种指纹调制方案：对小用户组使用正交调制，对于大量用户和抗共谋性，使用基于平衡不完全区块设计（BIBD）的 ACC 的编码调制，以支持大量用户并抵抗共谋。
• 将指纹构造成要么是正交基向量（每个用户获得一个正交矩阵的唯一列），要么是使用 BIBD-ACC 码本的基向量线性组合。
• 推理时通过将提取的权重与基向量相关联来解码指纹以恢复用户码向量，并通过 ACC 解码来检测共谋者。
• 使用带有 (31,6,1)-BIBD ACC 码本的编码指纹来评估对微调、剪枝和共谋攻击的鲁棒性。

实验结果

研究问题

• RQ1 DeepMarks 能否在不降低模型准确性的前提下，可靠地将唯一指纹嵌入 DNN 权重？
• RQ2 使用正交与编码（基于 BIBD-ACC）方案时，可以支持多少分布式用户并拥有唯一指纹？
• RQ3 嵌入的指纹对于常见的 DL 变换如微调、剪枝和共谋攻击有多鲁棒？
• RQ4 框架在实际 DNN 共享场景中，是否能够准确识别个体用户和共谋者？

主要发现

• 指纹嵌入在 MNIST-CNN 与 CIFAR10-WRN 基准测试中保持或略微提升任务精度。
• 使用 (31,6,1)-BIBD ACC 码本时，最多可识别 5 名共谋者，检测率为 100%，误报警率为 0%，在测试场景中。
• 使用 BIBD-ACC 的编码指纹实现可扩展的用户支持，超过指纹维度，对共谋攻击具鲁棒性。
• 在相同共谋者数量下，MNIST-CNN 与 CIFAR10-WRN 基准测试的检测率和误报警率保持一致。
• 保真度结果（表 III）显示基线模型和带指纹的模型在 MNIST-CNN 上的精度接近（基线 99.52，带指纹 99.72；CIFAR10-WRN 基线 91.85，带指纹 92.03）。
• 框架的共谋者检测性能取决于 ACC 码本参数；比较 (31,6,1) 与 (13,4,1) 码本显示出不同的冲突鲁棒性和误报警特性。