[论文解读] Deep 3D-to-2D Watermarking: Embedding Messages in 3D Meshes and Extracting Them from 2D Renderings

Innfarn Yoo, Huiwen Chang+5 more|arXiv (Cornell University)|Apr 27, 2021

Advanced Steganography and Watermarking Techniques参考文献 41被引用 4

一句话总结

本文提出了一种用于3D到2D水印的端到端深度学习框架，可将信息不可察觉地嵌入3D网格，并在不同相机视角和光照条件下，从2D渲染图像中鲁棒地恢复信息。通过利用可微分渲染器和联合几何-纹理编码，该方法即使在经历3D失真后仍能实现高比特准确率，标志着首个完全可微分的3D到2D水印系统，且在不同渲染器之间具备强大的泛化能力。

ABSTRACT

Digital watermarking is widely used for copyright protection. Traditional 3D watermarking approaches or commercial software are typically designed to embed messages into 3D meshes, and later retrieve the messages directly from distorted/undistorted watermarked 3D meshes. However, in many cases, users only have access to rendered 2D images instead of 3D meshes. Unfortunately, retrieving messages from 2D renderings of 3D meshes is still challenging and underexplored. We introduce a novel end-to-end learning framework to solve this problem through: 1) an encoder to covertly embed messages in both mesh geometry and textures; 2) a differentiable renderer to render watermarked 3D objects from different camera angles and under varied lighting conditions; 3) a decoder to recover the messages from 2D rendered images. From our experiments, we show that our model can learn to embed information visually imperceptible to humans, and to retrieve the embedded information from 2D renderings that undergo 3D distortions. In addition, we demonstrate that our method can also work with other renderers, such as ray tracers and real-time renderers with and without fine-tuning.

研究动机与目标

• 解决3D水印领域中信息通常仅能从3D网格中提取，而无法从2D渲染图像中提取的空白。
• 实现在不同相机角度、光照条件以及3D失真下，从3D网格生成的2D图像中鲁棒地检索信息。
• 开发一个完全可微分的框架，通过可微分渲染器联合优化3D嵌入与2D解码过程。
• 展示解码器在非可微分渲染器（如光线追踪器和实时渲染器）上的泛化能力。
• 从信息容量、对失真的鲁棒性以及视觉不可见性等方面评估性能。

提出的方法

• 该框架使用可学习的编码器，以感知上不可察觉的方式将信息嵌入3D网格的几何结构和2D纹理中。
• 可微分渲染器模拟从多个相机视角和光照条件生成2D图像的过程，支持通过渲染过程进行反向传播。
• 系统通过结合3D失真（如噪声、缩放、旋转、裁剪）和可微分渲染进行端到端训练，以提升鲁棒性。
• 解码器使用受HiDDeN启发的CNN架构，通过全局池化和全连接层从2D渲染图像中提取嵌入信息。
• 训练期间支持真实纹理和噪声纹理，消融研究显示性能存在差异。
• 解码器可针对非可微分渲染器（如光线追踪器和实时渲染器）进行微调，从而实现广泛适用性。

实验结果

研究问题

• RQ1 深度学习框架能否在3D网格中嵌入信息，使其在不同相机视角和光照条件下仍能从2D渲染图像中恢复？
• RQ2 该水印系统对常见3D失真（如缩放、旋转、裁剪和加性噪声）的鲁棒性如何？
• RQ3 可微分渲染器在实现端到端训练和提升不同渲染条件下的泛化能力方面，其作用有多大？
• RQ4 经过训练的解码器是否无需重新训练即可从非可微分渲染器（如光线追踪器或实时渲染器）中提取信息？
• RQ5 与传统3D水印方法相比，该方法在信息容量与视觉质量之间的权衡如何？

主要发现

• 当使用真实纹理进行训练时，模型在添加噪声、缩放、旋转和裁剪失真下，对长度为8的信息实现超过90%的比特准确率。
• 即使在强噪声（σ = 0.133）和大尺度失真下，比特准确率仍保持在80%以上，证明了其鲁棒性。
• 在实时渲染器上微调后的解码器实现超过95%的比特准确率，表明其在不同渲染管线间具备极强的泛化能力。
• 视觉质量得以保持，差异图像显示原始2D渲染图与水印化2D渲染图之间的感知失真极小。
• 该系统可泛化至非可微分渲染器（如光线追踪器和实时渲染器），尤其在微调解码器后表现更优。
• 与仅在2D纹理中嵌入信息的基线方法相比，本方法表现更优，后者在3D到2D渲染失真下因缺乏鲁棒性而失效。