[论文解读] GaussianStego: A Generalizable Stenography Pipeline for Generative 3D Gaussians Splatting

Chenxin Li, Hengyu Liu+5 more|arXiv (Cornell University)|Jul 1, 2024

Image Processing and 3D Reconstruction被引用 7

一句话总结

GaussianStego 在来自生成模型的渲染 3D 高斯中嵌入可定制、 imperceptible 的隐藏信息，并能从特定视角进行提取，而不 sacrificing 渲染质量。

ABSTRACT

Recent advancements in large generative models and real-time neural rendering using point-based techniques pave the way for a future of widespread visual data distribution through sharing synthesized 3D assets. However, while standardized methods for embedding proprietary or copyright information, either overtly or subtly, exist for conventional visual content such as images and videos, this issue remains unexplored for emerging generative 3D formats like Gaussian Splatting. We present GaussianStego, a method for embedding steganographic information in the rendering of generated 3D assets. Our approach employs an optimization framework that enables the accurate extraction of hidden information from images rendered using Gaussian assets derived from large models, while maintaining their original visual quality. We conduct preliminary evaluations of our method across several potential deployment scenarios and discuss issues identified through analysis. GaussianStego represents an initial exploration into the novel challenge of embedding customizable, imperceptible, and recoverable information within the renders produced by current 3D generative models, while ensuring minimal impact on the rendered content's quality.

研究动机与目标

• 激励对生成的 3D 高斯资产进行水印化和所有权保护的需求。
• 提出一个可泛化的框架，用于在 Gaussian Splatting 渲染中嵌入和恢复隐藏信息。
• 在确保隐藏信息准确恢复的同时，保持高水平的渲染保真度。
• 开发自适应梯度协调，以平衡隐写与渲染目标。

提出的方法

• 通过跨注意力将水印的 DINOv2 派生特征注入中间生成特征来嵌入隐藏信息。
• 使用 U-Net 解码器在指定的检查视点从渲染中恢复嵌入的信息。
• 优化一个联合损失，结合存在/不存在水印的恢复损失与光度渲染损失。
• 采用自适应梯度协调，在嵌入与渲染梯度不对齐的权重上屏蔽梯度更新。
• 扩展到多模态隐藏信息（文本、二维码、音频、视频），并配备模态特定的解码分支。

实验结果

研究问题

• RQ1 我们能否在不降低视觉质量的情况下，将可定制的、几乎不可察觉的信息嵌入 Gaussian Splatting 渲染中？
• RQ2 如何将水印泛化到未见过的三维高斯表示对象？
• RQ3 在三维高斯渲染中，哪些隐藏信息模态可以被可靠地嵌入和恢复？
• RQ4 自适应梯度协调是否改善渲染保真度与信息恢复之间的权衡？

主要发现

方法	渲染 PSNR	渲染 SSIM	渲染 LPIPS	渲染主观评估	隐藏恢复 PSNR	隐藏恢复 SSIM	隐藏恢复 LPIPS	隐藏恢复主观评估
Init. Render	20.48	0.8522	0.1181	5.00	N/A	N/A	N/A	N/A
LSB chang2003finding	20.45	0.8518	0.1185	3.95	8.36	0.2091	0.5379	1.20
DeepStega baluja2017hiding	20.43	0.8513	0.1197	3.21	12.11	0.2847	0.4432	1.83
StegaNeRF li2023steganerf	18.53	0.8362	0.1756	2.30	31.87	0.9659	0.0114	3.25
GaussianStego (Ours)	20.45	0.8519	0.1189	4.11	32.97	0.9808	0.0082	3.67

• GaussianStego 在渲染质量与基线相当的前提下，实现隐藏信号的高恢复准确度。
• 相比于 2D 隐写基线和 StegaNeRF 的改编，GaussianStego 在实现准确水印恢复的同时保留渲染质量。
• 消融研究表明每个提出的组件（DINOv2 嵌入、跨注意力、梯度协调）对性能有贡献。
• 该方法可泛化到未见过的对象，并支持多模态隐藏信息，具备模态特定解码器。
• 鲁棒性分析表明在 JPEG 压缩和高斯模糊下，嵌入的水印仍可恢复。