[论文解读] Distortion Agnostic Deep Watermarking

Xiyang Luo, Ruohan Zhan+3 more|arXiv (Cornell University)|Jan 14, 2020

Advanced Steganography and Watermarking Techniques参考文献 44被引用 5

一句话总结

本文提出了一种与畸变无关的深度水印框架，可在训练过程中不显式建模图像畸变的情况下实现鲁棒的消息提取。通过结合对抗性训练、CNN生成的扰动以及信道编码以引入冗余，该方法在未知畸变下的泛化能力优于在固定畸变集上训练的模型，在已知畸变上的性能匹配或超越基线，同时在未见畸变上显著提升了泛化性能。

ABSTRACT

Watermarking is the process of embedding information into an image that can survive under distortions, while requiring the encoded image to have little or no perceptual difference from the original image. Recently, deep learning-based methods achieved impressive results in both visual quality and message payload under a wide variety of image distortions. However, these methods all require differentiable models for the image distortions at training time, and may generalize poorly to unknown distortions. This is undesirable since the types of distortions applied to watermarked images are usually unknown and non-differentiable. In this paper, we propose a new framework for distortion-agnostic watermarking, where the image distortion is not explicitly modeled during training. Instead, the robustness of our system comes from two sources: adversarial training and channel coding. Compared to training on a fixed set of distortions and noise levels, our method achieves comparable or better results on distortions available during training, and better performance on unknown distortions.

研究动机与目标

• 解决在显式、固定畸变集上训练的深度水印模型泛化能力差的问题。
• 开发一种在实际中常见且非可微分的未知或非可微畸变下仍保持鲁棒性的水印系统。
• 在不建模特定畸变类型的前提下，维持高不可察觉性和高消息容量。
• 通过隐式畸变模拟和冗余注入提升鲁棒性，而无需事先知晓畸变类型。

提出的方法

• 该框架采用对抗性训练，其中基于CNN的攻击网络生成多样且可微分的扰动，以模拟广泛的图像畸变。
• 水印编码器和解码器与联合损失函数联合训练：图像重建损失（L_I）用于保持感知质量和与原始图像的接近度，消息损失（L_M）用于正确嵌入和提取消息。
• 对抗性样本（I_adv）由攻击网络G_adv生成，并用于训练水印模型以抵御这些扰动，从而最小化对抗性损失（L_adv）。
• 在嵌入前对消息应用信道编码，引入冗余以增强在畸变过程中抵抗消息损坏的能力。
• 训练过程交替更新水印网络（F_enc, F_dec）和攻击网络（G_adv），实现鲁棒性的协同自适应学习。
• 该系统在训练过程中无需显式建模畸变，从而实现对未见畸变的泛化能力。

实验结果

研究问题

• RQ1 深度水印系统是否能在不显式建模图像畸变的情况下实现高鲁棒性？
• RQ2 与在固定畸变类型上训练相比，使用CNN生成的扰动进行对抗性训练在未知畸变上的泛化能力如何？
• RQ3 在与畸变无关的水印框架中，信道编码在多大程度上提升了鲁棒性？
• RQ4 对抗性训练与信道编码的结合是否优于使用显式畸变增强训练的模型？
• RQ5 攻击网络的复杂度如何影响水印系统的鲁棒性和泛化能力？

主要发现

• 所提方法在JPEG（Q=50）上达到81.7%的比特准确率，在裁剪（p=0.09）上达到93.5%，在模糊（σ=1.0）上达到92.8%，在丢包（p=0.3）上达到97.9%，在未知畸变上优于身份模型和联合畸变模型。
• 在未知畸变，尤其是颜色变化方面，该模型显著优于联合畸变模型，后者因泛化问题而表现不佳。
• 消融研究显示，仅使用对抗性训练已显著提升鲁棒性，而结合信道编码后准确率进一步提升，尤其在高性能区域表现更优。
• 攻击网络复杂度研究发现，更复杂的网络因过拟合而轻微降低性能，而受限或残差结构版本结果不一，FGSM因过拟合于单一畸变类型而表现较差。
• 与基线模型相比，该模型在不同畸变下的比特准确率方差更低，表明其性能更稳定、更一致。
• 与显式畸变建模训练的模型相比，该框架在未见畸变上泛化能力更强，尤其在训练中未出现的畸变上表现更优，验证了其与畸变无关的设计的有效性。