[논문 리뷰] StegaNeRF: Embedding Invisible Information within Neural Radiance Fields

Chenxin Li, Brandon Y. Feng외 3명|arXiv (Cornell University)|2022. 12. 03.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

StegaNeRF는 훈련 중에 신경 렌더링 필드(NeRF)에 맞춤형, 인지 불가능하고 복원 가능한 정보를 직접 삽입하는 새로운 스테가노그래픽 프레임워크를 제안한다. 적응형 기울기 마스킹을 사용해 숨겨진 데이터의 기울기를 영향이 적은 가중치로 이동시키고, 탐지기 네트워크와 함께 공동 최적화함으로써, 렌더링 품질을 떨어뜨리지 않은 채 고정밀도의 숨겨진 정보 복원을 달성한다. 이는 다양한 3D 시점과 변형에 대해 검증되었다.

ABSTRACT

Recent advances in neural rendering imply a future of widespread visual data distributions through sharing NeRF model weights. However, while common visual data (images and videos) have standard approaches to embed ownership or copyright information explicitly or subtly, the problem remains unexplored for the emerging NeRF format. We present StegaNeRF, a method for steganographic information embedding in NeRF renderings. We design an optimization framework allowing accurate hidden information extractions from images rendered by NeRF, while preserving its original visual quality. We perform experimental evaluations of our method under several potential deployment scenarios, and we further discuss the insights discovered through our analysis. StegaNeRF signifies an initial exploration into the novel problem of instilling customizable, imperceptible, and recoverable information to NeRF renderings, with minimal impact to rendered images. Project page: https://xggnet.github.io/StegaNeRF/.

연구 동기 및 목표

• NeRF는 점점 더 널리 사용되는 3D 콘텐츠 포맷이지만, 아직 스테가노그래픽 기법이 부족한 점을 해결한다.
• 다양한 시점에서 NeRF 렌더링에 맞춤형, 인지 불가능하고 복원 가능한 정보를 삽입할 수 있도록 한다.
• 최적화된 가중치 할당을 통해 숨겨진 신호의 강력한 추출을 보장하면서도 고해상도 NeRF 렌더링 품질을 유지한다.
• 소유권 식별, 다중 출처 신원 추적, 3D 시점에서의 다중 모달 스테가노그래피와 같은 실용적 응용을 탐색한다.
• NeRF 최적화 과정에서 정보 손실이 발생함에 따라 2D 스테가노그래피가 NeRF 훈련 이미지에 적용될 경우 실패하는 한계를 극복한다.

제안 방법

• 기본 NeRF 모델을 먼저 훈련하여 가중치(θ₀)를 초기화한 후, 스테가노그래픽 목적함수로 미세조정한다.
• 낮은 영향을 미치는 가중치를 식별하고 숨겨진 정보의 기울기를 이들 방향으로 재지향함으로써 시각적 왜곡을 최소화하는 적응형 기울기 마스킹 전략을 도입한다.
• NeRF 렌더링에서 숨겨진 정보를 추출할 수 있는 탐지기 네트워크 Fψ를 함께 최적화하며, 원본 NeRF 렌더링에서는 잘못된 검출(false positive)가 발생하지 않도록 보장한다.
• 스테고그래픽과 클래식한 렌더링 품질 간의 균형을 높이기 위해, 스테고 및 클린 렌더링을 구분하는 분류기 조건을 기반으로 탐지기의 복원 정확도를 향상시키는 분류기 유도 복원(Classifier Guided Recovery)을 활용한다.
• 각 가중치의 중요도에 따라 동적으로 기울기 업데이트를 조정하는 소프트 마스킹 메커니즘을 사용하여 스테가노그래피와 렌더링 정밀도 사이의 균형을 유지한다.
• 다양한 3D 시점, 카메라 레이아웃 및 시나리오 복잡도를 가진 시나리오에 대해 프레임워크를 종단 간(end-to-end)으로 적용하여 복원성과 일반화 능력을 평가한다.

Figure 1 : We introduce the new problem of NeRF steganography: hiding information in NeRF renderings. Our proposed framework, StegaNeRF, can embed and recover customized hidden information while preserving the original NeRF rendering quality.

실험 결과

연구 질문

• RQ1 새로운 시점에서 렌더링된 NeRF 렌더링에서도 시각 품질을 유지하면서 숨겨진 정보를 삽입하고 복원할 수 있는가?
• RQ2 협업적 3D 시점 재구성에서 다수의 데이터 기여자 신원을 NeRF 스테가노그래피가 유지할 수 있는가?
• RQ3 간단한 메시지 문자열을 넘어서, 텍스트, 이미지 등 다양한 모달리티의 숨겨진 신호를 NeRF 렌더링에 통합할 수 있는가?
• RQ4 기존의 2D 스테가노그래피 방법은 왜 NeRF 훈련 이미지에 적용될 경우 실패하는가? 이를 어떻게 극복할 수 있는가?
• RQ5 일반적인 이미지 왜곡(예: JPEG 압축, 가우시안 블러)에 노출되었을 때 숨겨진 정보 복원은 얼마나 견고한가?

주요 결과

• StegaNeRF는 표준 NeRF 렌더링에서 PSNR 28.23 dB, SSIM 0.8593를 기록했으며, 소프트 마스킹을 사용하지 않은 설정에서 숨겨진 이미지 복원 정확도는 94.44%를 달성했다.
• 제안된 적응형 기울기 마스킹 전략은 스테가노그래픽 성능과 렌더링 품질 간의 균형을 크게 향상시켰으며, 마스킹 없이 비교한 베이스라인보다 뛰어난 성능을 보였다.
• 분류기 유도 복원은 탐지기를 분류기 조건에 기반해 조정함으로써 숨겨진 신호 복원 정확도를 높였고, 잘못된 검출을 줄이며 복원성과 강건성을 향상시켰다.
• StegaNeRF는 JPEG 압축(최대 90%) 및 가우시안 블러 조건에서도 높은 복원 정확도(SSI > 0.85)를 유지하여 일반적인 이미지 왜곡에 대한 강건성을 입증했다.
• 다양한 카메라 레이아웃과 시나리오 특성을 가진 다양한 3D 시점에서도 숨겨진 정보를 성공적으로 복원하여 일반화 능력을 확인했다.
• 제거 실험(ablation study) 결과, 기울기 마스킹 또는 분류기 유도 기능을 제거할 경우 복원 정확도와 렌더링 품질에 심각한 하락이 발생함을 확인하여, 이들 구성 요소의 필수성을 입증했다.

Figure 2 : StegaNeRF training overview. At the first stage, we optimize $\bm{\theta_{0}}$ with standard NeRF training. At the second stage, we initialize $\bm{\theta}$ with $\bm{\theta_{0}}$ and optimize for the steganography objectives. We train the detector $\bm{F_{\psi}}$ to recover hidden inform