[논문 리뷰] CopyRNeRF: Protecting the CopyRight of Neural Radiance Fields

Ziyuan Luo, Qing Guo외 3명|arXiv (Cornell University)|2023. 07. 21.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

이 논문은 렌더링된 이미지가 아닌 모델의 색상 표현에 직접 워터마크를 삽입하여 신경 레디언스 필드(NeRF)의 저작권을 보호하는 CopyRNeRF를 제안한다. 학습 중에 왜곡에 강한 렌더링 방식을 사용함으로써 높은 시각적 품질을 유지하면서 다양한 왜곡과 렌더링 전략에 대해 저항력 있는 메시지 추출을 보장하며, 시각적 왜곡을 최소화하면서도 100% 비트 정확도와 PSNR 32.68를 달성한다.

ABSTRACT

Neural Radiance Fields (NeRF) have the potential to be a major representation of media. Since training a NeRF has never been an easy task, the protection of its model copyright should be a priority. In this paper, by analyzing the pros and cons of possible copyright protection solutions, we propose to protect the copyright of NeRF models by replacing the original color representation in NeRF with a watermarked color representation. Then, a distortion-resistant rendering scheme is designed to guarantee robust message extraction in 2D renderings of NeRF. Our proposed method can directly protect the copyright of NeRF models while maintaining high rendering quality and bit accuracy when compared among optional solutions.

연구 동기 및 목표

• 학습 비용이 매우 높음에도 불구하고 직접적인 NeRF 모델 저작권 보호 수단이 부족한 문제를 해결하기 위해.
• 렌더링된 이미지에 워터마크를 삽입하는 기존 방법은 핵심 모델을 보호하지 못하고 시각적 아티팩트를 유발할 수 있는 한계를 극복하기 위해.
• 다양한 렌더링 전략과 2D 왜곡 상황에서도 임bed된 저작권 메시지가 강건하게 유지되도록 보장하기 위해.
• 모델의 색상 표현에 메시지를 은밀하게 삽입하면서도 높은 시각적 정밀도(PSNR, SSIM)를 유지하기 위해.
• 보호된 NeRF 모델의 어떤 2D 렌더링에서도 메시지 추출을 통해 신뢰할 수 있는 소유권 확인이 가능하도록 하는 방법을 개발하기 위해.

제안 방법

• 원본 기하구조를 유지하면서 NeRF 모델 가중치의 일부에서 유도된 워터마크가 삽입된 색상 표현에 저작권 메시지를 삽입한다.
• 모델 최적화 과정 중에 합성 왜곡(예: 블러, 노이즈, 회전)을 적용하는 왜곡에 강한 렌더링 프로세스를 설계하여 강건성을 향상시킨다.
• 2D 렌더링에서 임베딩된 메시지를 디코딩하기 위해 CNN 기반의 메시지 추출기 사용한다.
• 학습 중에 무작위 샘플링 전략을 적용하여 다양한 추론 샘플링 방법에 대한 강건성을 향상시킨다.
• 원본 NeRF 기하구조를 유지하고 오직 색상 표현만을 수정함으로써 시각적 은밀성을 확보한다.
• 다양한 시점에서 일관된 메시지 임베딩을 보장하기 위해 워터마크된 색상 표현에 공간 정보를 통합한다.

실험 결과

연구 질문

• RQ1 NeRF 모델의 색상 표현에 직접 워터마크를 삽입함으로써 렌더링 품질이 저하되지 않도록 하면서 지적재산권을 보호할 수 있는가?
• RQ2 렌더링 중 다양한 2D 왜곡(예: 블러, 노이즈, 회전) 상황에서도 워터마크의 강건성이 유지될 수 있는가?
• RQ3 다양한 렌더링 전략(예: 다양한 샘플링 방법 포함) 하에서도 워터마크가 생존할 수 있는가?
• RQ4 색상 표현에 메시지를 삽입하는 방식이 렌더링된 이미지에 워터마크를 삽입하는 것보다 은밀성과 강건성 측면에서 뛰어나지 않는가?
• RQ5 시점이나 렌더링 설정이 달라져도 일관된 메시지 추출이 보장되는가?

주요 결과

• 제안된 방법은 왜곡에 강한 렌더링 전략을 적용한 테스트에서도 메시지 추출 정확도가 100%를 기록한다.
• PSNR 32.68와 SSIM 0.948를 유지함으로써 시각적 왜곡이 최소화된 높은 품질을 확보한다.
• 다양한 추론 샘플링 전략 하에서도 강건성이 검증되었으며, 비트 정확도는 여전히 100%를 유지한다.
• 메시지 기능 필드 또는 색상 기능 필드 모듈을 제거할 경우 성능 저하가 심각하게 발생함으로써 이들의 필수성을 확인한다.
• 특히 저기하 영역에서 눈에 띄는 아티팩트가 발생할 수 있는 직접적인 2D 워터마킹(예: NeRF+HiDDeN)보다 성능이 뛰어나다.
• 모델 가중치 손상(예: 표준편차 0.01인 가우시안 노이즈) 상황에서도 비트 정확도가 93.97%로 높게 유지되어 일부 악성 공격에 대한 내성을 보인다.