[论文解读] Towards Practical Watermark for Deep Neural Networks in Federated Learning

Fangqi Li, Shilin Wang+1 more|arXiv (Cornell University)|May 7, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用 7

一句话总结

本文提出 Merkle-Sign，一种用于联邦学习中深度神经网络的水印框架，可为所有合作者提供可验证、不可伪造的所有权证明。通过将新型水印方案（ATGF）与基于Merkle树的验证协议相结合，该框架在抵御自适应攻击、叛徒追踪以及丢失身份的恢复方面表现出强大鲁棒性，且ATGF在黑盒环境下对破坏攻击展现出卓越的抗性。

ABSTRACT

With the wide application of deep neural networks, it is important to verify a host's possession over a deep neural network model and protect the model. To meet this goal, various mechanisms have been designed. By embedding extra information into a network and revealing it afterward, the watermark becomes a competitive candidate in proving integrity for deep learning systems. However, concurrent watermarking schemes can hardly be adopted for emerging distributed learning paradigms that raise extra requirements during the ownership verification. A spearheading distributed learning paradigm is federated learning (FL) where many parties participate in training one single model. Each author participating in the FL should be able to verify its ownership independently. Moreover, there are other potential threat and corresponding security requirements under this scenario. To meet those requirements, in this paper, we demonstrate a watermarking protocol for protecting deep neural networks in the setting of FL. By incorporating the state-of-the-art watermarking scheme and the cryptological primitive designed for distributed storage, the protocol meets the need for ownership verification in the FL scenario without violating the privacy for each participant. This work paves the way for generalizing watermark as a practical security mechanism for protecting deep learning models in distributed learning platforms.

研究动机与目标

• 为解决联邦学习（FL）中多个作者协作训练模型时缺乏实用的模型所有权保护问题。
• 设计一种框架，使每位参与者能够独立验证其所有权，而无需向他人或聚合方泄露身份。
• 确保即使某位作者的水印因自适应攻击被擦除，其他合作者仍可恢复其身份证明。
• 实现对盗用模型的叛徒的精准追踪，确保协作训练中的责任可追溯。
• 提出一种对破坏攻击具有鲁棒性的水印方案（ATGF），并兼容黑盒验证。

提出的方法

• 该框架使用Merkle树结构将各作者的水印绑定至全局模型，实现去中心化验证。
• 每位作者在联邦学习聚合前，使用水印方案（如ATGF）将其身份嵌入本地模型。
• Merkle-Sign协议通过联合作者提供的证据重建Merkle树，实现所有权的公开验证。
• 提出一种新型水印方案ATGF（对抗性触发生成框架），可生成多样化、隐蔽的触发信号，以抵抗破坏攻击。
• 系统将Merkle-Sign的安全性归约至底层水印方案和密码学原原子，确保不可伪造性。
• 通过仅允许作者发布可疑模型的推理结果而非完整模型权重，支持黑盒验证。

实验结果

研究问题

• RQ1 在联邦学习中，水印框架能否在不泄露身份的前提下，为每位合作者提供不可伪造、去中心化的所有权证明？
• RQ2 该框架如何确保在自适应攻击擦除某位作者水印后，其他合作者仍能恢复其身份证明？
• RQ3 不同水印方案在破坏攻击下对多水印同步性和鲁棒性的影响程度如何？
• RQ4 能否设计一种黑盒验证协议，在最小化验证过程信任依赖的同时保持安全性？
• RQ5 水印方案需具备何种特性，才能与Merkle-Sign兼容并抵抗集体破坏（如破坏攻击）？

主要发现

• 在破坏攻击下，ATGF在100至200名作者的场景中，水印验证准确率保持在98%–99%，显著优于Uchida和MTL-Sign方案。
• 在破坏攻击下，Uchida方案虽能100%保留其他水印，但最易受破坏，仅需21ms即可被攻破。
• 对于随机触发和WF方案，破坏攻击使36%–41%的其他作者水印失效，表明其具有高度同步性，对无辜合作者构成显著风险。
• ATGF的触发信号分布更具多样性，使其更难被检测和操纵，从而在黑盒环境下增强了鲁棒性。
• Merkle-Sign与ATGF的结合提供了最强的安全保障，尤其在黑盒验证和自适应攻击场景下表现优异。
• 该框架通过确保即使一个水印被擦除，其余水印仍可被验证和通过合作者协作恢复，成功缩小了攻击面。