[论文解读] IPGuard: Protecting Intellectual Property of Deep Neural Networks via Fingerprinting the Classification Boundary

Xiaoyu Cao, Jinyuan Jia+1 more|arXiv (Cornell University)|Oct 28, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用 20

一句话总结

IPGuard 是一种新颖的方法，通过在分类边界附近使用数据点对已训练的深度神经网络（DNN）模型的分类边界进行指纹化，从而保护 DNN 的知识产权。与水印技术不同，它不会造成准确率损失，因为它分析的是已训练好的模型，并通过这些边界点上的一致标签预测来识别盗版版本，从而在各种后处理技术下实现高效率的鲁棒检测。

ABSTRACT

A deep neural network (DNN) classifier represents a model owner's intellectual property as training a DNN classifier often requires lots of resource. Watermarking was recently proposed to protect the intellectual property of DNN classifiers. However, watermarking suffers from a key limitation: it sacrifices the utility/accuracy of the model owner's classifier because it tampers the classifier's training or fine-tuning process. In this work, we propose IPGuard, the first method to protect intellectual property of DNN classifiers that provably incurs no accuracy loss for the classifiers. Our key observation is that a DNN classifier can be uniquely represented by its classification boundary. Based on this observation, IPGuard extracts some data points near the classification boundary of the model owner's classifier and uses them to fingerprint the classifier. A DNN classifier is said to be a pirated version of the model owner's classifier if they predict the same labels for most fingerprinting data points. IPGuard is qualitatively different from watermarking. Specifically, IPGuard extracts fingerprinting data points near the classification boundary of a classifier that is already trained, while watermarking embeds watermarks into a classifier during its training or fine-tuning process. We extensively evaluate IPGuard on CIFAR-10, CIFAR-100, and ImageNet datasets. Our results show that IPGuard can robustly identify post-processed versions of the model owner's classifier as pirated versions of the classifier, and IPGuard can identify classifiers, which are not the model owner's classifier nor its post-processed versions, as non-pirated versions of the classifier.

研究动机与目标

• 为解决在高风险领域中对深度神经网络（DNN）分类器进行盗版保护的迫切需求，尤其是在即使 1% 的准确率损失也无法接受的场景下。
• 克服现有水印技术的关键局限，这些技术通过修改训练或微调过程而降低模型准确率。
• 开发一种方法，可在不损害原始模型性能或无需重新训练的情况下检测盗版 DNN 模型。
• 确保对常见后处理攻击（如模型压缩、微调和重新训练）具有鲁棒性。
• 在生成靠近分类边界的指纹数据点方面实现高效率，其速度优于最先进的对抗攻击方法。

提出的方法

• IPGuard 识别预训练 DNN 分类器的分类边界附近的样本点，将其作为指纹数据点。
• 它使用一种新颖且高效的优化方法，生成将样本点推向决策边界的扰动，同时保持其原始类别标签不变。
• 该方法不限制扰动的 L2 范数，因此相比 CW-L2 等方法计算速度更快。
• 指纹被定义为原始数据点及其目标分类器预测标签的集合，形成唯一标识。
• 对于可疑分类器，模型所有者通过在相同指纹数据点上查询其预测 API 来检测；若标签预测一致，则表明可能存在盗版。
• 该方法在理论上对原始模型是准确的，因为未对训练或微调过程进行任何修改。

实验结果

研究问题

• RQ1 能否仅基于分类边界对 DNN 分类器进行唯一指纹化，而无需修改其训练过程？
• RQ2 该指纹化方法对常见后处理技术（如模型压缩、微调和重新训练）的鲁棒性如何？
• RQ3 该方法能否高效地生成靠近决策边界的指纹数据点，同时保持高检测准确率？
• RQ4 该指纹化方法是否能避免误报，正确识别非盗版模型为非盗版？
• RQ5 与最先进的对抗样本生成方法相比，该方法在效率和准确率方面表现如何？

主要发现

• 在 CIFAR-10 和 CIFAR-100 上，IPGuard 对目标分类器经后处理后的版本检测实现了接近完美的匹配率（超过 95%），即使在模型压缩或微调后依然有效。
• 在 ImageNet 上，IPGuard 对后处理模型的检测性能依然强劲，匹配率超过 90%，证明了其在大规模数据集上的可扩展性。
• 该方法在鲁棒性和效率方面均优于 FGSM 和 IGSM，并且比 CW-L2 快几个数量级，同时实现了相当的 ARUC 得分。
• IPGuard 的误报率极低：非盗版模型（包括使用不同随机种子训练的模型）在 CIFAR-100 上的匹配率接近 0%，表明其指纹具有高度唯一性。
• 在 CIFAR-100 上，IPGuard 生成 100 个指纹数据点仅需 249.9 秒，远快于 CW-L2 的 30,644.6 秒，尽管两者的 ARUC 表现相近。
• IPGuard 中扰动的平均 L2 范数（1.29）高于 CW-L2（0.64），证实了 IPGuard 因未施加范数约束而实现了更快的收敛速度。