[论文解读] Removing Backdoor-Based Watermarks in Neural Networks with Limited Data

Xuankai Liu, Fengting Li+2 more|arXiv (Cornell University)|Aug 2, 2020

Adversarial Robustness in Machine Learning参考文献 28被引用 17

一句话总结

该论文提出WILD，一种新颖的框架，仅使用原始训练数据的一小部分即可从深度神经网络中移除基于后门的水印。通过结合一种新颖的数据增强技术以模拟水印触发器，并最小化特征空间中的分布差距，WILD有效去除了水印——将水印保留率从约100%降低至20%以下——同时仅在MNIST和CIFAR-10上分别造成0.3%和1.7%的平均准确率下降，保持了模型的高准确率。

ABSTRACT

Deep neural networks have been widely applied and achieved great success in various fields. As training deep models usually consumes massive data and computational resources, trading the trained deep models is highly demanded and lucrative nowadays. Unfortunately, the naive trading schemes typically involves potential risks related to copyright and trustworthiness issues, e.g., a sold model can be illegally resold to others without further authorization to reap huge profits. To tackle this problem, various watermarking techniques are proposed to protect the model intellectual property, amongst which the backdoor-based watermarking is the most commonly-used one. However, the robustness of these watermarking approaches is not well evaluated under realistic settings, such as limited in-distribution data availability and agnostic of watermarking patterns. In this paper, we benchmark the robustness of watermarking, and propose a novel backdoor-based watermark removal framework using limited data, dubbed WILD. The proposed WILD removes the watermarks of deep models with only a small portion of training data, and the output model can perform the same as models trained from scratch without watermarks injected. In particular, a novel data augmentation method is utilized to mimic the behavior of watermark triggers. Combining with the distribution alignment between the normal and perturbed (e.g., occluded) data in the feature space, our approach generalizes well on all typical types of trigger contents. The experimental results demonstrate that our approach can effectively remove the watermarks without compromising the deep model performance for the original task with the limited access to training data.

研究动机与目标

• 解决在攻击者仅能有限访问训练数据的真实场景中，基于后门的水印方案所面临的脆弱性问题。
• 开发一种无需完整训练集、额外未标注数据或复杂超参数调优的水印移除方法。
• 在有效消除水印的同时，保持模型在原始任务上的高性能。
• 在多种水印类型上具备泛化能力，包括基于内容的、基于噪声的以及无关水印。

提出的方法

• 提出一种新颖的数据增强策略，通过在正常输入上施加类似遮挡的扰动来模拟水印触发器，从而再现水印注入的效果。
• 利用正常输入与扰动输入（如遮挡输入）在特征空间中的分布对齐，提升对水印模式的鲁棒性。
• 通过再训练过程优化模型，最小化高层特征中的分布差距，增强对未见水印模式的泛化能力。
• 采用交叉熵（CE）、标签平滑（JS）和蒸馏（DN）作为优化目标，平衡水印去除与准确率保持。
• 避免依赖外部未标注数据或精心调校的学习率调度，使其适用于数据受限场景。
• 在弱监督条件下应用该框架，即仅使用分布内数据的小部分子集。

实验结果

研究问题

• RQ1 是否仅使用原始训练数据的小部分子集，而非完整数据集，即可有效实现水印去除？
• RQ2 所提出方法在不同水印类型（包括基于内容的、基于噪声的以及无关水印）上的表现如何？
• RQ3 水印去除后，模型在原始任务上的准确率保留程度如何？
• RQ4 与SOTA方法REFIT相比，WILD在准确率下降和水印保留率方面的表现如何？

主要发现

• 在MNIST上，使用20%的训练数据时，WILD将水印保留率从接近100%降低至20%以下，测试准确率仅平均下降0.3%。
• 在CIFAR-10上，相同数据约束下，水印保留率也低于20%，准确率平均下降1.7%，表现出强大的泛化能力。
• 无关水印最难去除，其在MNIST上的保留率约为20%，在CIFAR-10上约为16%，原因在于其分布外特性。
• 该方法性能优于REFIT，后者需精细调整学习率，且仍存在高水印保留率或准确率损失问题。
• 当使用40%的训练数据时，WILD在CIFAR-10上对基于内容的水印实现完全去除，准确率仅下降0.5%，几乎无性能损失。
• 在各类优化策略中，标签平滑（JS）和交叉熵（CE）导致的性能下降小于知识蒸馏（DN），尤其在处理无关水印时更为明显。