[论文解读] MOVE: Effective and Harmless Ownership Verification via Embedded External Features

Yiming Li, Linghui Zhu+6 more|arXiv (Cornell University)|Aug 4, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出MOVE，一种新颖的模型所有权验证方法，通过在少量训练样本上使用风格迁移嵌入外部特征，实现对盗用模型的有效且无害的检测。该方法在白盒和黑盒环境下均能以高准确率识别多种模型盗用攻击，同时保持模型功能完整性并避免后门风险，优于现有的水印和防御方法。

ABSTRACT

Currently, deep neural networks (DNNs) are widely adopted in different applications. Despite its commercial values, training a well-performing DNN is resource-consuming. Accordingly, the well-trained model is valuable intellectual property for its owner. However, recent studies revealed the threats of model stealing, where the adversaries can obtain a function-similar copy of the victim model, even when they can only query the model. In this paper, we propose an effective and harmless model ownership verification (MOVE) to defend against different types of model stealing simultaneously, without introducing new security risks. In general, we conduct the ownership verification by verifying whether a suspicious model contains the knowledge of defender-specified external features. Specifically, we embed the external features by modifying a few training samples with style transfer. We then train a meta-classifier to determine whether a model is stolen from the victim. This approach is inspired by the understanding that the stolen models should contain the knowledge of features learned by the victim model. In particular, evision{we develop our MOVE method under both white-box and black-box settings and analyze its theoretical foundation to provide comprehensive model protection.} Extensive experiments on benchmark datasets verify the effectiveness of our method and its resistance to potential adaptive attacks. The codes for reproducing the main experiments of our method are available at https://github.com/THUYimingLi/MOVE.

研究动机与目标

• 为应对日益严重的模型盗用威胁，即攻击者通过查询或直接访问复制已训练好的深度神经网络（DNNs）。
• 克服现有基于验证的防御方法的局限性，这些方法要么降低模型性能，要么引入隐藏后门。
• 开发一种既有效（可检测多种盗用方法）又无害（保持模型准确率并避免安全风险）的防御机制。
• 通过嵌入特定样本、非恶意的特征，确保水印机制与后门攻击及成员推理攻击在本质上不同。
• 在白盒和黑盒威胁模型下提供全面保护。

提出的方法

• 使用风格迁移将外部特征嵌入少量训练样本中，同时保留原始标签以避免功能退化。
• 在受害模型的预测结果上训练元分类器，以检测可疑模型是否包含对嵌入特征的知识。
• 通过假设检验执行所有权验证，将可疑模型在转换样本上的行为与原始模型的预期行为进行比较。
• 使用在干净数据上训练的良性模型校准元分类器，确保其学习到的是对特征知识的检测，而非对训练数据的记忆。
• 在白盒和黑盒环境中应用该方法，以确保广泛适用性并抵御自适应攻击。
• 利用基于风格迁移的特征的独特性，使其能抵抗现有后门和成员推理攻击的检测。

Figure 1: The main pipeline of our MOVE defense. In the first step, defenders will modify some images via style transfer for embedding external features. In the second step, defenders will train a meta-classifier to determine whether a suspicious model is stolen from the victim based on gradients (u

实验结果

研究问题

• RQ1 模型所有权验证系统能否检测多种类型的模型盗用攻击，包括直接复制、蒸馏、零样本、微调和基于查询的攻击？
• RQ2 在少量标注样本上通过风格迁移嵌入特征是否能保持模型准确率并避免引入恶意后门？
• RQ3 与现有水印和防御机制相比，该方法在检测准确率和抵御自适应攻击方面表现如何？
• RQ4 即使嵌入的特征不属于原始训练数据分布，该方法能否区分已学习这些特征的模型与未学习的模型？
• RQ5 该防御是否能抵御针对传统水印方案的成员推理和后门分析工具？

主要发现

• MOVE在CIFAR-10和ImageNet数据集上对直接复制和蒸馏攻击的检测准确率接近完美（Δμ > 0.90），p值 < 10−5。
• 在更复杂的攻击（如零样本、微调和基于查询的盗用）中，该方法在黑盒环境下仍保持高检测性能（Δμ > 0.5）。
• 使用测试数据生成的转换图像代替训练数据生成的图像，检测性能相似，证实该方法检测的是对特征的知识，而非对训练样本的记忆。
• 通过风格迁移嵌入的触发器在视觉上无意义，且在结构上与基于后门的防御方法中的触发器截然不同，因此可免遭标准后门检测方法的识别。
• MOVE能抵抗成员推理和后门检测技术，因为这些特征是样本特定的，不与特定类别或标签绑定。
• 该方法在良性样本上表现出极小的性能退化，证实其无害性及在实际部署中的可行性。

(a) MOVE under the White-box Setting