[論文レビュー] GaussianStego: A Generalizable Stenography Pipeline for Generative 3D Gaussians Splatting

Chenxin Li, Hengyu Liu+5 more|arXiv (Cornell University)|Jul 1, 2024

Image Processing and 3D Reconstruction被引用数 7

ひとこと要約

GaussianStego は、生成モデルからレンダリングされた3D Gaussians にカスタマイズ可能で知覚不能な隠し情報を埋め込み、特定の視点から回収してレンダリング品質を損なうことなく回収します。

ABSTRACT

Recent advancements in large generative models and real-time neural rendering using point-based techniques pave the way for a future of widespread visual data distribution through sharing synthesized 3D assets. However, while standardized methods for embedding proprietary or copyright information, either overtly or subtly, exist for conventional visual content such as images and videos, this issue remains unexplored for emerging generative 3D formats like Gaussian Splatting. We present GaussianStego, a method for embedding steganographic information in the rendering of generated 3D assets. Our approach employs an optimization framework that enables the accurate extraction of hidden information from images rendered using Gaussian assets derived from large models, while maintaining their original visual quality. We conduct preliminary evaluations of our method across several potential deployment scenarios and discuss issues identified through analysis. GaussianStego represents an initial exploration into the novel challenge of embedding customizable, imperceptible, and recoverable information within the renders produced by current 3D generative models, while ensuring minimal impact on the rendered content's quality.

研究の動機と目的

• 生成された3D Gaussian資産のウォーターマークと所有権保護の必要性を動機づける。
• Gaussian Splatting レンダーに隠し情報を埋め込み回復する一般化可能なフレームワークを提案する。
• 高いレンダリング忠実度を維持しつつ正確な隠し情報回復を保証する。
• 隠し情報の埋め込みとレンダリング目的のバランスを取る適応的勾配調和を開発する。

提案手法

• 埋め込み情報を水印の DINOv2 由来特徴を中間生成特徴へクロスアテンションを介して注入する。
• ユニット・デコーダを用いて 指定ビューのレンダリングから埋め込まれた情報を回復する。
• 回復損失（存在する水印と不存在する水印）とフォトメトリックレンダリング損失を結合したジョイント損失を最適化する。
• 適応的勾配調和を採用して埋め込みとレンダリングの勾配がずれる重みの勾配更新をマスクする。
• テキスト、QRコード、音声、動画などのモダリティ固有デコーダーブランチを持つ多模態隠し情報へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 Gaussian Splatting レンダーにカスタマイズ可能で知覚不能な情報を埋め込んでも視覚品質を低下させないか？
• RQ2 3D Gaussian 表現の未知のオブジェクトへウォーターマークを一般化できるか？
• RQ3 3D Gaussian レンダーに信頼性高く埋め込み回復できる隠し情報のモダリティは何か？
• RQ4 適応的勾配調和はレンダリング忠実度と情報回復のトレードオフを改善するか？

主な発見

Method	Rendering PSNR	Rendering SSIM	Rendering LPIPS	Rendering Subj	Hidden Recovery PSNR	Hidden Recovery SSIM	Hidden Recovery LPIPS	Hidden Recovery Subj
Init. Render	20.48	0.8522	0.1181	5.00	N/A	N/A	N/A	N/A
LSB chang2003finding	20.45	0.8518	0.1185	3.95	8.36	0.2091	0.5379	1.20
DeepStega baluja2017hiding	20.43	0.8513	0.1197	3.21	12.11	0.2847	0.4432	1.83
StegaNeRF li2023steganerf	18.53	0.8362	0.1756	2.30	31.87	0.9659	0.0114	3.25
GaussianStego (Ours)	20.45	0.8519	0.1189	4.11	32.97	0.9808	0.0082	3.67

• GaussianStego はレンダリング品質を基準と同等に保ちつつ隠れ信号の高い回復精度を達成。
• 2D ステガネグラフィのベースラインと StegaNeRF 適用と比較して、GaussianStego はレンダリング品質を保ちつつ正確なウォーターマーク回復を実現。
• アブレーション研究は提案各要素（DINOv2 埋め込み、クロスアテンション、勾配調和）が性能へ寄与することを示す。
• 未知のオブジェクトへ一般化し、モダリティ固有デコーダーで多模態隠し情報をサポートする。
• ロバスト性分析は JPEG 圧縮やガウスぼかしの下でも埋め込みウォーターマークが回収可能であることを示す。