[論文レビュー] CopyRNeRF: Protecting the CopyRight of Neural Radiance Fields

Ziyuan Luo, Qing Guo+3 more|arXiv (Cornell University)|Jul 21, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

この論文では、Neural Radiance Fields (NeRF) の著作権を保護するための CopyRNeRF を提案する。本手法は、レンダリング画像にではなく、モデルの色表現に直接水増しを埋め込むことで、著作権保護を実現する。訓練中に歪みに強いレンダリング方式を用いることで、さまざまな歪みやレンダリング戦略に対しても高い視覚的品質と強固なメッセージ抽出を実現し、最小限の視覚的歪みで 100% のビット正確性と PSNR 32.68 を達成する。

ABSTRACT

Neural Radiance Fields (NeRF) have the potential to be a major representation of media. Since training a NeRF has never been an easy task, the protection of its model copyright should be a priority. In this paper, by analyzing the pros and cons of possible copyright protection solutions, we propose to protect the copyright of NeRF models by replacing the original color representation in NeRF with a watermarked color representation. Then, a distortion-resistant rendering scheme is designed to guarantee robust message extraction in 2D renderings of NeRF. Our proposed method can directly protect the copyright of NeRF models while maintaining high rendering quality and bit accuracy when compared among optional solutions.

研究の動機と目的

• 訓練に高コストがかかるにもかかわらず、NeRF モデル自体への直接的な著作権保護が不足している問題に対処すること。
• レンダリング画像に水増しを埋め込む手法の限界を克服し、コアとなるモデルを保護できず、目に見えるアーティファクトを生じさせる可能性があること。
• 異なるレンダリング戦略や 2D の歪みに対しても、埋め込まれた著作権メッセージが強固に保たれることを保証すること。
• 視覚的に見えない形で色表現にメッセージを埋め込む一方で、高い視覚的忠実度（PSNR、SSIM）を維持すること。
• 任意の 2D レンダリングから抽出可能なメッセージにより、所有権の信頼性ある確認が可能となる手法の開発

提案手法

• 元の幾何構造を保ちつつ、NeRF モデル重みのサブセットから導出される水増し色表現に著作権メッセージを埋め込む。
• 合成的な歪み（例：ぼかし、ノイズ、回転）をモデル最適化中に適用する歪みに強いレンダリングプロセスを設計し、耐性を高める。
• 2D レンダリングから埋め込まれたメッセージを復号するための CNN を用いたメッセージ抽出器を採用する。
• 訓練中にランダムサンプリング戦略を適用することで、推論時のさまざまなサンプリング方法に対しても耐性を高める。
• 視覚的に見えないことを保証するため、元の NeRF 幾何構造を維持し、色表現のみを変更する。
• 異なる視点からも一貫したメッセージ埋め込みを実現するため、空間情報を水増し色表現に統合する。

実験結果

リサーチクエスチョン

• RQ1 NeRF モデルの色表現に直接水増しを埋め込むことで、レンダリング品質を損なわせることなく知的財産権を保護できるか？
• RQ2 レンダリング中にぼかし、ノイズ、回転などの多様な 2D の歪みが加えられた場合でも、水増しの耐性をどのように維持できるか？
• RQ3 推論時に異なるサンプリング方法を用いるレンダリング戦略に対しても、水増しが生存するか？
• RQ4 色表現にメッセージを埋め込む手法は、レンダリング画像に直接水増しを埋め込む手法よりも、見えにくさと耐性の面で優れているか？
• RQ5 視点やレンダリング設定が異なっても、一貫したメッセージ抽出が可能か？

主な発見

• 提案手法は、歪みに強いレンダリング戦略でテストされた場合でも、メッセージ抽出において 100% のビット正確性を達成している。
• PSNR 32.68 および SSIM 0.948 を維持しており、人間の知覚にほとんど歪みがないことを示している。
• 推論時のさまざまなサンプリング戦略下でも耐性が検証され、ビット正確性は 100% を維持している。
• メッセージ特徴フィールドまたは色特徴フィールドモジュールを削除すると顕著な性能低下が生じ、これらが不可欠であることが確認された。
• 特に幾何構造が乏しい領域で目立つアーティファクトを避けるために、直接的な 2D 水増し（例：NeRF+HiDDeN）よりも優れた性能を示している。
• モデル重みの破損（例：標準偏差 0.01 のガウスノイズ）に対しても、93.97% の高いビット正確性を維持しており、一部の攻撃に対しても耐性があることが示された。