[論文レビュー] StegaNeRF: Embedding Invisible Information within Neural Radiance Fields

Chenxin Li, Brandon Y. Feng+3 more|arXiv (Cornell University)|Dec 3, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

StegaNeRF は、トレーニング中に Neural Radiance Fields (NeRF) にカスタマイズ可能で、人間の目では検出できない、かつ回収可能な情報を埋め込むための新しいステガノグラフィックフレームワークを提案する。適応的勾配マスクを用いて隠しデータの勾配を影響が小さい重みへと誘導し、検出ネットワークと共同最適化することで、レンダリング品質を損なわず、高精度な隠し情報回収を実現した。この手法は、多様な3次元シーンおよび摂動条件下でも検証された。

ABSTRACT

Recent advances in neural rendering imply a future of widespread visual data distributions through sharing NeRF model weights. However, while common visual data (images and videos) have standard approaches to embed ownership or copyright information explicitly or subtly, the problem remains unexplored for the emerging NeRF format. We present StegaNeRF, a method for steganographic information embedding in NeRF renderings. We design an optimization framework allowing accurate hidden information extractions from images rendered by NeRF, while preserving its original visual quality. We perform experimental evaluations of our method under several potential deployment scenarios, and we further discuss the insights discovered through our analysis. StegaNeRF signifies an initial exploration into the novel problem of instilling customizable, imperceptible, and recoverable information to NeRF renderings, with minimal impact to rendered images. Project page: https://xggnet.github.io/StegaNeRF/.

研究の動機と目的

• NeRF は、共有や配布において広く使われているが、そのような3次元コンテンツ形式に対するステガノグラフィック技術が不足している現状に対処する。
• 任意の視点からも、カスタマイズ可能で、人間の目では検出できない、かつ回収可能な情報を NeRF レンダリングに埋め込むことを可能にする。
• 最適化された重み割り当てにより、隠し信号の回収を強力に保ちつつ、高精度な NeRF レンダリング品質を維持する。
• 所有権の特定、複数ソースのアイデンティティ追跡、3次元シーンにおけるマルチモーダルステガノグラフィーといった実用的応用を検討する。
• NeRF の最適化過程で情報損失が生じるため、NeRF のトレーニング画像に適用された従来の2次元ステガノグラフィー手法が失敗するという限界を克服する。

提案手法

• まず標準的な NeRF モデルをトレーニングして重み θ₀ を初期化し、その後ステガノグラフィック目的関数でファインチューニングする。
• 影響が小さい重みを特定し、隠し情報の勾配をそれらの方向へ再配分する適応的勾配マスク戦略を導入する。これにより、視覚的歪みを最小限に抑える。
• NeRF レンダリングから隠し情報を抽出する検出ネットワーク Fψ を、元の NeRF レンダリングでは誤検出が発生しないように、共同で最適化する。
• 分類器を用いてステガノグラフィックとクリーンなレンダリングを区別する分類器に条件づけた Classifier Guided Recovery を採用し、復号精度を向上させる。
• 各重みの重要性に基づいて動的に勾配更新を調整するソフトマスクメカニズムを採用し、ステガノグラフィーとレンダリング忠実度のバランスを取る。
• 多様な3次元シーン、異なるカメラ配置、シーンの複雑さを想定して、エンドツーエンドでフレームワークを適用し、耐性および一般化能力を評価する。

Figure 1 : We introduce the new problem of NeRF steganography: hiding information in NeRF renderings. Our proposed framework, StegaNeRF, can embed and recover customized hidden information while preserving the original NeRF rendering quality.

実験結果

リサーチクエスチョン

• RQ1 新規の視点からレンダリングされた場合でも、視覚的品質を損なわず、NeRF レンダリングに隠し情報を埋め込み・回収できるか？
• RQ2 共同での3次元シーン再構築において、複数のデータ寄与者のアイデンティティを NeRF ステガノグラフィーが保持できるか？
• RQ3 単なるメッセージ文字列を超えて、テキストや画像といった複数のモダリティの隠し信号を NeRF レンダリングに埋め込めるか？
• RQ4 従来の2次元ステガノグラフィー手法が NeRF のトレーニング画像に適用された場合に失敗する理由は何か？そして、その限界をどのように克服できるか？
• RQ5 JPEG 圧縮やガウスノイズなどの一般的な画像歪みに対して、隠し情報の回収はどの程度耐性を示すか？

主な発見

• StegaNeRF は、標準的な NeRF レンダリングにおいて、PSNR 28.23 dB、SSIM 0.8593 を達成し、ソフトマスクなし設定下で隠し画像の回収精度が 94.44% に達した。
• 提案された適応的勾配マスク戦略は、ステガノグラフィック性能とレンダリング品質のバランスを著しく改善し、マスクなしのベースラインを上回った。
• Classifier Guided Recovery は、分類器による条件づけにより検出器を最適化し、誤検出を低減させ、耐性を向上させた。
• StegaNeRF は、JPEG 圧縮（最大 90%）およびガウスブラーに対しても高い回収精度（SSIM > 0.85）を維持し、一般的な画像歪みに対して強い耐性を示した。
• 異なるカメラ配置やシーン特性を有する多様な3次元シーンにおいても、隠し情報の回収が成功しており、一般化能力が確認された。
• アブレーションスタディの結果、勾配マスクや分類器ガイドランスの主要な構成要素を削除すると、回収精度とレンダリング品質が著しく低下し、それらの必要性が裏付けられた。

Figure 2 : StegaNeRF training overview. At the first stage, we optimize $\bm{\theta_{0}}$ with standard NeRF training. At the second stage, we initialize $\bm{\theta}$ with $\bm{\theta_{0}}$ and optimize for the steganography objectives. We train the detector $\bm{F_{\psi}}$ to recover hidden inform