[논문 리뷰] GaussianStego: A Generalizable Stenography Pipeline for Generative 3D Gaussians Splatting

Chenxin Li, Hengyu Liu외 5명|arXiv (Cornell University)|2024. 07. 01.

Image Processing and 3D Reconstruction인용 수 7

한 줄 요약

GaussianStego는 생성 모델의 렌더링된 3D Gaussians에 맞춤 가능하고 감지할 수 없는 숨겨진 정보를 삽입하고 특정 시점에서 이를 복구하며 렌더링 품질을 희생하지 않습니다.

ABSTRACT

Recent advancements in large generative models and real-time neural rendering using point-based techniques pave the way for a future of widespread visual data distribution through sharing synthesized 3D assets. However, while standardized methods for embedding proprietary or copyright information, either overtly or subtly, exist for conventional visual content such as images and videos, this issue remains unexplored for emerging generative 3D formats like Gaussian Splatting. We present GaussianStego, a method for embedding steganographic information in the rendering of generated 3D assets. Our approach employs an optimization framework that enables the accurate extraction of hidden information from images rendered using Gaussian assets derived from large models, while maintaining their original visual quality. We conduct preliminary evaluations of our method across several potential deployment scenarios and discuss issues identified through analysis. GaussianStego represents an initial exploration into the novel challenge of embedding customizable, imperceptible, and recoverable information within the renders produced by current 3D generative models, while ensuring minimal impact on the rendered content's quality.

연구 동기 및 목표

• 생성된 3D Gaussian 자산의 워터마크를 넣고 소유권 보호의 필요성을 제시합니다.
• Gaussian Splatting 렌더링에 숨겨진 정보를 삽입하고 복구하는 일반화 가능한 프레임워크를 제시합니다.
• 높은 렌더링 충실도를 유지하면서 숨겨진 정보의 정확한 복구를 보장합니다.
• 스테가노그래피와 렌더링 목적 간의 균형을 맞추는 적응형 그래디언트 조화를 개발합니다.

제안 방법

• 교차-어텐션을 통해 워터마크의 DINOv2 파생 특징을 중간 생성 특징에 주입하여 숨겨진 정보를 삽입합니다.
• 지정된 확인 시점에서 렌더로부터 삽입된 정보를 복구하기 위해 U-Net 디코더를 사용합니다.
• 발현/미발현 워터마크에 대한 복구 손실과 포토메트릭 렌더링 손실을 결합한 공동 손실을 최적화합니다.
• 적응형 그래디언트 조화를 채택하여 삽입과 렌더링 그래디언트가 맞지 않는 가중치에서의 그래디언트 업데이트를 마스킹합니다.
• 모듈/다중 모드 숨겨진 정보를 텍스트, QR 코드, 오디오, 비디오 등의 모달리티별 디코딩 분기를 통해 확장합니다.

실험 결과

연구 질문

• RQ1 Gaussian Splatting 렌더에 시각적 품질 저하 없이 사용자 지정 가능하고 감지할 수 없는 정보를 삽입할 수 있을까?
• RQ2 3D Gaussian 표현에서 보이지 않는 객체에 대한 워터마크를 일반화할 수 있을까?
• RQ3 3D Gaussian 렌더에서 어떤 모달리티의 숨겨진 정보를 신뢰성 있게 삽입하고 복구할 수 있을까?
• RQ4 적응형 그래디언트 조화가 렌더링 충실도와 정보 복구 간의 트레이드오프를 개선할까?

주요 결과

Method	Rendering PSNR	Rendering SSIM	Rendering LPIPS	Rendering Subj	Hidden Recovery PSNR	Hidden Recovery SSIM	Hidden Recovery LPIPS	Hidden Recovery Subj
Init. Render	20.48	0.8522	0.1181	5.00	N/A	N/A	N/A	N/A
LSB chang2003finding	20.45	0.8518	0.1185	3.95	8.36	0.2091	0.5379	1.20
DeepStega baluja2017hiding	20.43	0.8513	0.1197	3.21	12.11	0.2847	0.4432	1.83
StegaNeRF li2023steganerf	18.53	0.8362	0.1756	2.30	31.87	0.9659	0.0114	3.25
GaussianStego (Ours)	20.45	0.8519	0.1189	4.11	32.97	0.9808	0.0082	3.67

• GaussianStego는 렌더링 품질이 기준선과 비슷한 상태에서 숨겨진 신호의 높은 복구 정확도를 달성합니다.
• 2D 스테가노그래피 기반과 StegaNeRF 파생과 비교했을 때, GaussianStego는 렌더링 품질을 유지하면서 정확한 워터마크 복구를 가능하게 합니다.
• 특성 연구는 제안된 각 구성요소(DINOv2 임베딩, 크로스 어텐션, 그래디언트 조화)가 성능에 기여함을 보여줍니다.
• 해당 방법은 보이지 않는 객체에도 일반화되며 모달리티별 디코더를 통한 멀티모달 숨겨진 정보를 지원합니다.
• 강건성 분석은 JPEG 압축 및 가우시안 블러 하에서도 삽입된 워터마크가 복구 가능한 상태로 남아 있음을 시사합니다.