[논문 리뷰] SNeRF: Stylized Neural Implicit Representations for 3D Scenes

Thu Nguyen-Phuoc, Feng Liu외 1명|arXiv (Cornell University)|2022. 07. 05.

Advanced Vision and Imaging인용 수 13

한 줄 요약

SNeRF는 신경 볼륨 렌더링 필드(NeRF)를 사용하여 3D 시점 스타일화를 위한 새로운 프레임워크를 제안한다. 이는 NeRF 학습과 신경 스타일 전달을 번갈아 적용함으로써 고품질의 다중 시점 일致성 있는 새로운 시점 스타일화를 가능하게 한다. 메모리 효율적인 학습 방식을 통해 GPU 메모리 제약을 극복하여 실내, 실외, 동적 4D 시점에서 세밀한 스타일 전달과 시점 간 일관성을 갖춘 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper presents a stylized novel view synthesis method. Applying state-of-the-art stylization methods to novel views frame by frame often causes jittering artifacts due to the lack of cross-view consistency. Therefore, this paper investigates 3D scene stylization that provides a strong inductive bias for consistent novel view synthesis. Specifically, we adopt the emerging neural radiance fields (NeRF) as our choice of 3D scene representation for their capability to render high-quality novel views for a variety of scenes. However, as rendering a novel view from a NeRF requires a large number of samples, training a stylized NeRF requires a large amount of GPU memory that goes beyond an off-the-shelf GPU capacity. We introduce a new training method to address this problem by alternating the NeRF and stylization optimization steps. Such a method enables us to make full use of our hardware memory capacity to both generate images at higher resolution and adopt more expressive image style transfer methods. Our experiments show that our method produces stylized NeRFs for a wide range of content, including indoor, outdoor and dynamic scenes, and synthesizes high-quality novel views with cross-view consistency.

연구 동기 및 목표

• 강한 기하학적 인도 추론을 가진 3D 시점 표현을 활용하여 프레임 간 번쩍임과 불일치 문제를 해결한다.
• 학습 중 GPU 메모리 제약을 극복하면서도 NeRF를 사용하여 고해상도, 고정밀도의 3D 시점 스타일화를 가능하게 한다.
• 다양한 암시적 시점 표현과 스타일 전달 방법을 지원하는 일반화 가능하고 즉시 통합 가능한 프레임워크를 개발한다.
• 단지 외관만 수정하는 기존 방법들과 달리, 3D 시점에서 기하학적 구조와 외관을 동시에 스타일화함으로써 성능을 뛰어넘는다.
• 인간 애니메이션과 같은 동적 4D 애벌링에까지 스타일화를 확장하여 시간에 따라 변화하는 시점에서도 일관성 있는 스타일 전달을 실현한다.

제안 방법

• NeRF 시점 표현 최적화와 렌더링된 이미지에 대한 신경 스타일 전달 적용을 번갈아 수행하는 교차 학습 방식을 도입한다.
• 두 단계 최적화를 활용한다: 먼저 사전 학습된 스타일 전달 네트워크를 사용해 렌더링된 이미지 패치를 스타일링하고, 이후 NeRF를 미세 조정하여 다중 시점 일관성을 유지한다.
• 각 학습 단계에서 고해상도 이미지 패치에 신경 스타일 전달을 적용함으로써 GPU 메모리 한도를 초과하지 않으면서도 세밀한 스타일을 캡처할 수 있다.
• NeRF 렌더링 과정을 통해 기울기 역전파를 수행함으로써 시점 간 기하학적 일관성을 유지하고, 다중 시점 일관성을 확보한다.
• 시간을 좌표로 포함한 NeRF 공식을 확장하여 정적 시점과 동적 4D 애벌링 모두를 지원함으로써 시공간 스타일 전달를 가능하게 한다.
• 다양한 NeRF 변종과 스타일 전달 모델을 모듈러 구성 요소로 통합할 수 있도록 플러그 앤 플레이 아키텍처를 채택한다.

실험 결과

연구 질문

• RQ1 NeRF와 같은 암시적 신경 표현을 활용하면 다중 시점에서 3D 시점 스타일화의 일관성이 향상될 수 있는가?
• RQ2 학습 중 엄격한 GPU 메모리 제약 조건 하에서도 고해상도, 세밀한 스타일화를 어떻게 달성할 수 있는가?
• RQ3 외관뿐 아니라 기하학적 구조까지 효과적으로 스타일화할 수 있는가? 단지 외관만 수정하는 방법과 비교해 볼 때 어떻게 성능이 향상되는가?
• RQ4 NeRF 학습과 스타일 전달 간 교차 최적화가 단일 단계 학습 대비 스타일화 정밀도와 일관성을 향상시키는가?
• RQ5 이 프레임워크는 인간 애벌링과 같은 동적 4D 시점에 일반화되어 시간적·공간적 일관성을 유지할 수 있는가?

주요 결과

• 단일 단계 학습에서 독립적으로 스타일링된 이미지를 사용하는 것과 비교해, 교차 학습 방식이 스타일화 품질과 다중 시점 일관성 면에서 뚜렷한 향상을 이룬다.
• SNeRF는 스타일링된 새로운 시점 합성에서 최신 기술 수준의 성능을 달성하였으며, 정량적 평가와 정성적 평가 모두에서 이미지 기반 및 3D 기반 스타일 전달 방법을 모두 압도한다.
• 실내, 실외, 4D 동적 애벌링에 이르기까지 다양한 시점 유형을 성공적으로 스타일링하여 광범위한 적용 가능성을 입증한다.
• NeRF와 스타일 전달 최적화를 번갈아 적용함으로써, 단일 V100 GPU에서 고해상도 스타일화(예: 1008×548)를 가능하게 하여 이전의 메모리 제약 문제를 해결한다.
• 기하학적 구조와 외관을 모두 스타일링하는 것이 NeRF의 RGB 브랜치만 수정하는 방법보다 더 충실한 스타일 전달을 이룬다는 것이 결과적으로 입증되었다.
• 스타일링된 NeRF를 '베이킹'한 후 실시간 추론이 가능하므로 AR/VR/MR 응용 분야에 적합하다.