[论文解读] CopyRNeRF: Protecting the CopyRight of Neural Radiance Fields
本文提出 CopyRNeRF，一种通过直接在模型的颜色表示中嵌入水印，而非在渲染图像中，来保护神经辐射场（NeRF）版权的方法。通过在训练期间使用抗失真渲染方案，该方法确保了在各种失真和渲染策略下均具有高视觉质量与鲁棒的消息提取能力，实现了 100% 的位准确率和 32.68 的 PSNR，同时视觉失真极小。
Neural Radiance Fields (NeRF) have the potential to be a major representation of media. Since training a NeRF has never been an easy task, the protection of its model copyright should be a priority. In this paper, by analyzing the pros and cons of possible copyright protection solutions, we propose to protect the copyright of NeRF models by replacing the original color representation in NeRF with a watermarked color representation. Then, a distortion-resistant rendering scheme is designed to guarantee robust message extraction in 2D renderings of NeRF. Our proposed method can directly protect the copyright of NeRF models while maintaining high rendering quality and bit accuracy when compared among optional solutions.
研究动机与目标
- 为解决尽管训练成本高昂，但缺乏对 NeRF 模型本身的直接版权保护这一问题。
- 克服在渲染图像中嵌入水印的局限性，因为此类方法无法保护核心模型，且可能引入可见伪影。
- 确保嵌入的版权信息在不同渲染策略和 2D 失真下保持鲁棒性。
- 在模型颜色表示中隐形嵌入信息的同时，保持高视觉保真度（PSNR、SSIM）。
- 开发一种方法，使通过从受保护 NeRF 模型的任意 2D 渲染图中提取信息，实现可靠的产权验证成为可能。
提出的方法
- 将版权信息嵌入由 NeRF 模型权重子集导出的加水印颜色表示中，同时保留原始几何结构。
- 设计一种抗失真的渲染过程，在模型优化过程中施加合成失真（如模糊、噪声、旋转），以增强鲁棒性。
- 使用基于 CNN 的消息提取器，从 NeRF 模型的 2D 渲染图中解码嵌入的信息。
- 在训练期间采用随机采样策略，以提升对不同推理采样方法的鲁棒性。
- 保持原始 NeRF 几何结构不变，仅修改颜色表示，以确保视觉不可见性。
- 将空间信息整合到加水印的颜色表示中，以确保在不同视角下信息嵌入的一致性。
实验结果
研究问题
- RQ1能否直接在 NeRF 模型的颜色表示中嵌入水印，以保护其知识产权，同时不降低渲染质量？
- RQ2在渲染过程中，如何在诸如模糊、噪声和旋转等多样化 2D 失真下保持水印的鲁棒性？
- RQ3水印是否能经受住不同的推理渲染策略，包括不同的采样方法？
- RQ4与在渲染图像中嵌入水印相比，将信息嵌入颜色表示是否在隐蔽性和鲁棒性方面表现更优？
- RQ5该方法是否能确保无论视角或渲染配置如何，消息提取均保持一致？
主要发现
- 所提方法在抗失真渲染策略下测试时，消息提取仍实现 100% 的位准确率。
- 该方法保持了高视觉质量，PSNR 达 32.68，SSIM 达 0.948，表明感知失真极小。
- 在推理阶段不同采样策略下，鲁棒性得到验证，位准确率仍保持在 100%。
- 移除消息特征场或颜色特征场模块会导致性能显著下降，证实了其必要性。
- 与直接的 2D 水印方法（如 NeRF+HiDDeN）相比，该方法避免了可见伪影，尤其在低几何区域表现更优。
- 即使在模型权重被破坏（如添加标准差为 0.01 的高斯噪声）的情况下，位准确率仍高达 93.97%，表明对部分对抗性攻击具有抗性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。