[论文解读] Black-Box Watermarking for Generative Adversarial Networks.

Vladislav Skripniuk, Ning Yu+2 more|arXiv (Cornell University)|Jul 17, 2020

Digital Media Forensic Detection参考文献 73被引用 4

一句话总结

本文提出了一种针对生成对抗网络（GANs）的首个黑箱水印方法，通过使用隐写术将水印嵌入训练数据，水印随后被传递至生成的图像中。该方法在仅通过 GAN API 操作、无需访问模型内部结构的前提下，确保了高生成质量、对图像扰动的鲁棒性以及对隐写分析的保密性。

ABSTRACT

As companies start using deep learning to provide value to their customers, the demand for solutions to protect the ownership of trained models becomes evident. Several watermarking approaches have been proposed for protecting discriminative models. However, rapid progress in the task of photorealistic image synthesis, boosted by Generative Adversarial Networks (GANs), raises an urgent need for extending protection to generative models. We propose the first watermarking solution for GAN models. We leverage steganography techniques to watermark GAN training dataset, transfer the watermark from the dataset to GAN models, and then verify the watermark from generated images. In the experiments, we show that the hidden encoding characteristic of steganography allows preserving generation quality and supports the watermark secrecy against steganalysis attacks. We validate that our watermark verification is robust in wide ranges against several image perturbations. Critically, our solution treats GAN models as an independent component: watermark embedding is agnostic to GAN details and watermark verification relies only on accessing the APIs of black-box GANs. We further extend our watermarking applications to generated image detection and attribution, which delivers a practical potential to facilitate forensics against deep fakes and responsibility tracking of GAN misuse.

研究动机与目标

• 为生成式 AI 中日益增长的模型所有权保护需求提供解决方案，特别是针对用于逼真图像生成的 GAN。
• 将此前应用于判别式模型的水印技术扩展至生成式模型，如 GAN。
• 设计一种仅需 GAN API 访问权限、无需了解其内部架构的黑箱设置下的解决方案。
• 在嵌入秘密水印的同时保持高图像生成质量，并使其能够抵抗隐写分析。
• 支持实际应用场景，如深度伪造取证和 GAN 生成内容的溯源。

提出的方法

• 使用隐写技术将水印嵌入训练数据集，通过细微调整像素值来编码隐藏信息。
• 在水印数据集上训练 GAN，使水印被隐式学习并编码至生成器的潜在空间中。
• 通过仅需模型权重和架构细节的公开验证函数，分析生成图像以验证水印。
• 利用隐写术的固有鲁棒性，维持图像质量并抵抗隐写分析工具的检测。
• 设计水印嵌入与验证流程，使其与 GAN 架构无关，确保在不同 GAN 变体间的兼容性。
• 采用仅需访问 GAN 推理 API 的黑箱验证协议，支持在真实系统中的实际部署。

实验结果

研究问题

• RQ1 是否能够将水印嵌入 GAN 的训练数据中，使其在生成图像中得以保留，且不降低图像质量？
• RQ2 水印是否对常见的图像扰动（如压缩、缩放和滤波）具有鲁棒性？
• RQ3 是否可在不访问模型权重或内部结构的前提下，仅通过 API 级推理完成水印验证？
• RQ4 隐写水印方法是否能对隐写分析攻击保持不可检测性？
• RQ5 该水印方案是否支持实际应用场景，如检测深度伪造和追溯 GAN 的滥用行为？

主要发现

• 水印方法保持了高保真度的图像生成，生成输出的视觉质量无明显退化。
• 嵌入的水印在多种图像扰动下仍可检测，包括 JPEG 压缩、缩放和噪声添加。
• 水印对隐写分析具有抵抗力，即使攻击者尝试检测或移除水印，其秘密性仍得以保持。
• 仅通过 GAN 的黑箱 API 即可实现水印的鲁棒且准确的验证，无需模型权重或架构细节。
• 该方法可有效实现 GAN 生成内容的溯源与检测，支持针对深度伪造的取证应用。
• 该方法与架构无关，无需修改即可适用于多种 GAN 变体。