[论文解读] Copy, Right? A Testing Framework for Copyright Protection of Deep Learning Models

Jialuo Chen, Jingyi Wang+7 more|arXiv (Cornell University)|Dec 10, 2021

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出 DeepJudge，一种用于深度学习模型版权保护的非侵入式、高效且灵活的测试框架。它通过多种度量标准和自适应测试用例生成，定量衡量模型相似性，能够以高准确率和对自适应攻击的鲁棒性，成功检测出经过微调、剪枝和模型提取攻击后的盗版模型。

ABSTRACT

Deep learning (DL) models, especially those large-scale and high-performance ones, can be very costly to train, demanding a great amount of data and computational resources. Unauthorized reproduction of DL models can lead to copyright infringement and cause huge economic losses to model owners. Existing copyright protection techniques are mostly based on watermarking, which embeds an owner-specified watermark into the model. While being able to provide exact ownership verification, these techniques are 1) invasive, as they need to tamper with the training process, which may affect the utility or introduce new security risks; 2) prone to adaptive attacks that attempt to remove the watermark; and 3) not robust to the emerging model extraction attacks. Latest fingerprinting work, though being non-invasive, also falls short when facing the diverse and ever-growing attack scenarios. In this paper, we propose a novel testing framework for DL copyright protection: DEEPJUDGE. DEEPJUDGE quantitatively tests the similarities between two DL models: a victim model and a suspect model. It leverages a diverse set of testing metrics and test case generation methods to produce a chain of supporting evidence to help determine whether a suspect model is a copy of the victim model. Advantages of DEEPJUDGE include: 1) non-invasive, as it works directly on the model and does not tamper with the training process; 2) efficient, as it only needs a small set of test cases and a quick scan of models; 3) flexible, as it can easily incorporate new metrics or generation methods to obtain more confident judgement; and 4) fairly robust to model extraction and adaptive attacks. We verify the effectiveness of DEEPJUDGE under typical copyright infringement scenarios, including model finetuning, pruning and extraction, via extensive experiments on both image and speech datasets with a variety of model architectures.

研究动机与目标

• 解决传统水印技术与脆弱指纹技术在保护深度学习模型免遭未经授权复制方面的局限性。
• 开发一种非侵入式、高效且对多种攻击（包括模型提取和自适应修改）具有鲁棒性的版权保护方法。
• 实现在微调、剪枝和迁移学习等多种攻击场景下对盗版模型的检测能力。
• 提供一个灵活可扩展的框架，支持新测试度量标准和测试用例生成技术的集成。
• 为模型所有者提供一种实用的开源解决方案，可在不修改训练过程的前提下验证所有权。

提出的方法

• DeepJudge 采用多层级测试框架，通过多种度量标准（包括准确率、鲁棒性距离、Jensen-Shannon 散度及其他行为相似性度量）评估受害模型与嫌疑模型之间的相似性。
• 采用高效的基于种子的测试用例生成方法，探索模型在不同输入区域的行为，实现对模型输出的快速扫描。
• 框架支持黑盒和白盒测试，可适应不同的模型架构和输出维度，包括迁移学习或剪枝后的模型。
• 通过动态更新测试用例种子，确保在对抗性训练或模型提取等自适应攻击下仍保持检测灵敏度。
• 通过多个度量标准构建证据链，使用阈值（如 τλ）判断嫌疑模型是否为复制版本。
• 可轻松集成新的测试度量标准和生成策略，从而提升检测的鲁棒性和置信度。

实验结果

研究问题

• RQ1 非侵入式测试框架是否能在不修改训练过程的前提下，有效检测模型盗版？
• RQ2 该框架对对抗性训练、模型提取和微调等自适应攻击的鲁棒性如何？
• RQ3 该框架是否能在多种模型架构和数据集上保持高检测准确率？
• RQ4 在模型结构被修改的迁移学习场景下，该框架的性能表现如何？
• RQ5 与单度量方法相比，集成多种测试度量标准是否能提升检测的可靠性？

主要发现

• 在 SVHN 数据集上，针对 5 分类任务的迁移学习攻击，DeepJudge 实现了 100% 的 AUC，展现出强大的检测能力。
• 在黑盒测试中，DeepJudge 正确识别出 6 个自适应攻击模型（Adapt-B）中的 4 个为复制模型，检测阈值为 τλ = 0.816。
• 在白盒测试中，6 个 Adapt-W 攻击下的模型中有 4 个被标记为复制模型，阈值为 τλ = 0.537。
• 在对抗性训练下，框架保持了高检测性能，6 个模型中有 4 个被正确识别为复制模型（AUC = 1.0）。
• 负向对照模型（如 Neg-1 和 Neg-2）始终被分类为非复制模型，其值远高于阈值，表明误报率极低。
• DeepJudge 对模型提取攻击表现出强韧性，即使嫌疑模型是通过 API 查询生成的，其检测性能依然稳定。