[论文解读] DVMark: A Deep Multiscale Framework for Video Watermarking

Xiyang Luo, Yinxiao Li+4 more|arXiv (Cornell University)|Apr 26, 2021

Advanced Steganography and Watermarking Techniques参考文献 6被引用 10

一句话总结

DVMark 提出了一种端到端可训练的深度多尺度视频水印框架，通过在多个时空尺度上嵌入信息，在训练过程中使用可微分的失真层和可微分的视频压缩代理，实现了在各种失真下的最先进鲁棒性，同时保持了高感知质量，并能在混合内容视频中实现精确的水印定位。

ABSTRACT

Video watermarking embeds a message into a cover video in an imperceptible manner, which can be retrieved even if the video undergoes certain modifications or distortions. Traditional watermarking methods are often manually designed for particular types of distortions and thus cannot simultaneously handle a broad spectrum of distortions. To this end, we propose a robust deep learning-based solution for video watermarking that is end-to-end trainable. Our model consists of a novel multiscale design where the watermarks are distributed across multiple spatial-temporal scales. It gains robustness against various distortions through a differentiable distortion layer, whereas non-differentiable distortions, such as popular video compression standards, are modeled by a differentiable proxy. Extensive evaluations on a wide variety of distortions show that our method outperforms traditional video watermarking methods as well as deep image watermarking models by a large margin. We further demonstrate the practicality of our method on a realistic video-editing application.

研究动机与目标

• 解决传统视频水印方法针对特定失真手动设计且缺乏广泛鲁棒性的局限性。
• 开发一种充分利用视频数据中时间与空间相关性的深度学习视频水印系统。
• 尽管存在如 H.264 压缩等非可微失真，仍实现端到端训练，通过使用可微分代理实现。
• 通过在多个时空尺度上分布水印，提升鲁棒性与感知质量。
• 通过专用的水印检测头，实现在复杂视频编辑场景中对水印内容的精确定位。

提出的方法

• 编码器网络使用多尺度架构，在多个空间和时间分辨率上将二进制消息嵌入到原始视频中。
• 可微分的失真层在训练期间模拟常见视频失真（如帧丢失、裁剪、噪声），以提升鲁棒性。
• 可微分代理用于建模非可微的视频压缩（如 H.264），以支持训练过程中的端到端反向传播。
• 解码器网络从失真后的水印视频中重建原始消息，其共享架构同时支持消息解码与水印检测。
• 训练视频判别器以区分水印视频与原始视频，提升感知质量与时间一致性。
• 在解码器中添加水印检测头，以识别哪些帧包含水印，从而实现在混合内容视频中的精确定位。

实验结果

研究问题

• RQ1 基于深度学习的视频水印系统是否能在广泛失真下实现优于传统方法和图像基方法的鲁棒性？
• RQ2 多尺度设计在保持感知质量的同时，是否能有效提升视频水印的鲁棒性？
• RQ3 可微分代理是否能有效建模真实世界视频压缩（如 H.264）并适用于端到端训练框架？
• RQ4 水印检测器是否能准确识别包含水印与未水印内容的视频中水印段落？
• RQ5 在极端条件下（如长背景视频中水印像素占比极低，例如 0.5%），系统性能如何？

主要发现

• 在 128×128 视频上，T=64 时，DVMark 的解码准确率达到 96.80%，在更大的 864×480 视频上，T=64 时仍保持 97.19% 的高准确率，表明其在分辨率和长度上的可扩展性。
• 在一组多样化失真（H.264、裁剪、帧丢失、高斯噪声）下，DVMark 在 T=64 时平均解码准确率达到 96.80%，显著优于传统方法和深度图像水印基线。
• 水印检测器在多种失真下的平均准确率达到 98.32%，包括 H.264（94.27%）、帧丢失（97.10%）和高斯模糊（99.50%），表明其定位具有高度可靠性。
• 在包含 16 帧水印片段嵌入于 720 帧背景视频中的视频编辑应用中，解码准确率从无检测器时的 52.14% 提升至使用检测器后的 90.02%，证明了检测器的实际价值。
• 系统保持了高感知质量，经视频判别器和视觉检查确认，水印视频在人类观察者眼中与原始视频几乎无法区分。
• 系统在视频长度和分辨率上具有良好的泛化能力，从 T=8 扩展到 T=64 时性能无显著下降，表明其具备强大的鲁棒性与可扩展性。