[论文解读] Towards Photo-Realistic Visible Watermark Removal with Conditional Generative Adversarial Networks

Li Xiang, Chan Lu+6 more|arXiv (Cornell University)|May 30, 2019

Advanced Steganography and Watermarking Techniques参考文献 16被引用 4

一句话总结

该论文提出了一种基于条件生成对抗网络（cGAN）的框架，用于在真实世界场景中去除未知且多样的可见水印。通过结合基于水印图像条件的局部图像块判别器与对抗损失及像素级内容损失（L1 + 感知损失），该方法生成的重建结果比以往最先进方法更具真实感且无残留痕迹，其感知质量经人工评估验证显著提升。

ABSTRACT

Visible watermark plays an important role in image copyright protection and the robustness of a visible watermark to an attack is shown to be essential. To evaluate and improve the effectiveness of watermark, watermark removal attracts increasing attention and becomes a hot research top. Current methods cast the watermark removal as an image-to-image translation problem where the encode-decode architectures with pixel-wise loss are adopted to transfer the transparent watermarked pixels into unmarked pixels. However, when a number of realistic images are presented, the watermarks are more likely to be unknown and diverse (i.e., the watermarks might be opaque or semi-transparent; the category and pattern of watermarks are unknown). When applying existing methods to the real-world scenarios, they mostly can not satisfactorily reconstruct the hidden information obscured under the complex and various watermarks (i.e., the residual watermark traces remain and the reconstructed images lack reality). To address this difficulty, in this paper, we present a new watermark processing framework using the conditional generative adversarial networks (cGANs) for visible watermark removal in the real-world application. The proposed method enables the watermark removal solution to be more closed to the photo-realistic reconstruction using a patch-based discriminator conditioned on the watermarked images, which is adversarially trained to differentiate the difference between the recovered images and original watermark-free images. Extensive experimental results on a large-scale visible watermark dataset demonstrate the effectiveness of the proposed method and clearly indicate that our proposed approach can produce more photo-realistic and convincing results compared with the state-of-the-art methods.

研究动机与目标

• 解决在缺乏先验知识的情况下，从真实世界图像中去除未知、多样且复杂的可见水印的挑战。
• 提升水印去除后图像的感知真实感，减少残留痕迹并增强视觉合理性。
• 开发一种鲁棒的端到端框架，实现对各种水印图案和不透明度水平的泛化。
• 证明使用基于图像块的判别器进行对抗训练，相比传统的图像级判别器，能生成更具真实感的结果。
• 建立新的水印去除基准，优先考虑人类视觉感知，而非PSNR和SSIM等标准指标。

提出的方法

• 该框架采用条件生成对抗网络（cGAN），其中生成器以含水印的输入图像为条件，生成无水印的输出图像。
• 引入基于图像块的判别器，通过评估图像局部区域的逼真度，并以输入的含水印图像为条件，区分真实图像与生成图像。
• 生成器采用混合损失函数进行训练，结合对抗损失（提升真实感）与内容损失（L1 + 感知损失），以保留结构和语义细节。
• 感知损失通过预训练的VGG网络提取的高层特征计算，使生成图像在高层特征空间与真实图像对齐。
• 模型通过反向传播与Adam优化器进行端到端训练，实现生成器与判别器的联合优化。
• 基于图像块的判别器比图像级判别器更轻量化且高效，适用于大尺寸图像的高效训练与推理。

实验结果

研究问题

• RQ1 基于cGAN的框架能否在不依赖水印图案先验知识的前提下，有效去除多样且未知的可见水印？
• RQ2 与图像级判别器相比，引入基于图像块的判别器是否能提升水印去除图像的真实感并减少残留痕迹？
• RQ3 对抗损失与内容损失（L1 + 感知损失）的组合是否能产生比仅使用像素级损失更具有感知说服力的结果？
• RQ4 尽管PSNR和DSSIM分数可能相近，该方法在人类视觉感知方面与最先进方法相比表现如何？
• RQ5 该框架在面对具有复杂、高透明度或半透明水印的真实世界图像时，其泛化能力如何？

主要发现

• 在LVW数据集上，该方法取得了4.08的平均意见得分（MOS），显著优于Cheng等人方法的MOS（3.23），表明其感知质量更优。
• 基于图像块的判别器实现了30.69的PSNR与0.045的DSSIM，优于图像级判别器（PSNR：29.72，DSSIM：0.052），证明其在局部真实感与重建保真度方面更优。
• 模型生成了视觉上令人信服的结果，残留水印痕迹极少，如图4的定性对比所示，人类观察者更偏好本方法的输出。
• 对抗损失组件对提升真实感至关重要；未使用该损失的模型生成结果存在明显伪影，纹理也更不自然。
• 基于图像块的判别器在参数量更少、推理速度更快的前提下，比图像级判别器更具效率与可扩展性，适合真实世界部署。
• 尽管PSNR与DSSIM略低于Cheng等人方法，但本方法的MOS更高，证实人类视觉评估比标准指标更能准确捕捉感知质量。