[论文解读] Have You Stolen My Model? Evasion Attacks Against Deep Neural Network Watermarking Techniques

Dorjan Hitaj, Luigi V. Mancini|arXiv (Cornell University)|Sep 3, 2018

Adversarial Robustness in Machine Learning参考文献 23被引用 42

一句话总结

本文展示了针对DNN水印的两种规避攻击：一个集成模型攻击和一个基于探测器的攻击，二者均使水印所有者的盗取核验失败。

ABSTRACT

Deep neural networks have had enormous impact on various domains of computer science, considerably outperforming previous state of the art machine learning techniques. To achieve this performance, neural networks need large quantities of data and huge computational resources, which heavily increases their construction costs. The increased cost of building a good deep neural network model gives rise to a need for protecting this investment from potential copyright infringements. Legitimate owners of a machine learning model want to be able to reliably track and detect a malicious adversary that tries to steal the intellectual property related to the model. Recently, this problem was tackled by introducing in deep neural networks the concept of watermarking, which allows a legitimate owner to embed some secret information(watermark) in a given model. The watermark allows the legitimate owner to detect copyright infringements of his model. This paper focuses on verifying the robustness and reliability of state-of- the-art deep neural network watermarking schemes. We show that, a malicious adversary, even in scenarios where the watermark is difficult to remove, can still evade the verification by the legitimate owners, thus avoiding the detection of model theft.

研究动机与目标

• 动机并形式化在MLaaS和专有环境中保护ML模型免受版权侵权的需求。
• 评估并测试基于后门的前沿DNN水印技术，以提高对抗对手的鲁棒性。
• 展示可行的规避策略，在不牺牲服务质量的前提下破坏水印核验。

提出的方法

• 提出集成攻击：从不同提供商窃取多個高质量模型，并将它们融合成一个在API层后面的多数投票集成，以规避水印核验。
• 证明未见过的水印触发器作为随机输入，使在多数投票下正确核验水印的可能性降低。
• 展示一个集成设置，其中水印触发在各模型之间不相交，并在集成规模变化时评估核验成功率。
• 提出探测器攻击：利用窃取模型的特征训练二分类器（Detector）以检测水印触发器，并对疑似触发器返回随机预测。
• 使用预训练网络（ResNet50、InceptionV3、Xception、VGG16、VGG19）评估探测器性能，探测准确率超过90%。
• 用MNIST规模的实验演示该方法，并讨论其在更大任务如ImageNet上的适用性。

实验结果

研究问题

• RQ1 在模型被窃取并通过其他模型集合提供服务时，水印核验是否能可靠进行？
• RQ2 通过集成投票或探测机制是否可以混淆目标水印触发器的存在，而不牺牲正常任务的准确性？
• RQ3 在MLaaS环境中，攻击者实现这些规避策略的可行性与成本有多大？
• RQ4 在黑盒访问下，基于后门的水印对规避的鲁棒性如何？

主要发现

• 集成攻击显著降低水印核验的成功率；在七模型集成下，MNIST上可验证的水印所有权降至约25.5%，而在更大任务或较小的集合下约为15–34%。
• 较小的集合（3个模型）仍能实现显著规避，在测试设置下MNIST的可验证水印部分约为34%。
• 探测器攻击实现高检测准确率（约91–95%，取决于窃取的模型），用于标记水印触发器并输出随机预测，使每个触发器的核验成功率降至1/l，其中l是输出空间大小。
• 当对手部署由窃取模型支持的MLaaS时，水印核验对合法所有者仍然不可靠；同时，由于集成的好处，干净输入的服务质量得以保留或提升。
• 实验表明在黑盒访问下两种攻击的可行性，凸显了对Adi等人提出的后门水印方案的实际风险。