[논문 리뷰] StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning

Yihua Huang, Yue He외 3명|arXiv (Cornell University)|2022. 05. 24.

Computer Graphics and Visualization Techniques인용 수 7

한 줄 요약

StylizedNeRF는 2D 이미지 스타일라이제이션 네트워크와 신경 렌더링 필드(NeRF)를 결합하여 일관된 3D 시점 스타일라이제이션을 달성하는 상호 학습 프레임워크를 제안한다. NeRF에서 공간 일관성 정보를 2D 스타일라이저로 희석시키고, 스타일에 조건부된 학습 가능한 잠재 코드를 사용함으로써, 최신 기법들에 비해 뛰어난 시각적 품질과 장거리 일관성을 달성한다.

ABSTRACT

3D scene stylization aims at generating stylized images of the scene from arbitrary novel views following a given set of style examples, while ensuring consistency when rendered from different views. Directly applying methods for image or video stylization to 3D scenes cannot achieve such consistency. Thanks to recently proposed neural radiance fields (NeRF), we are able to represent a 3D scene in a consistent way. Consistent 3D scene stylization can be effectively achieved by stylizing the corresponding NeRF. However, there is a significant domain gap between style examples which are 2D images and NeRF which is an implicit volumetric representation. To address this problem, we propose a novel mutual learning framework for 3D scene stylization that combines a 2D image stylization network and NeRF to fuse the stylization ability of 2D stylization network with the 3D consistency of NeRF. We first pre-train a standard NeRF of the 3D scene to be stylized and replace its color prediction module with a style network to obtain a stylized NeRF. It is followed by distilling the prior knowledge of spatial consistency from NeRF to the 2D stylization network through an introduced consistency loss. We also introduce a mimic loss to supervise the mutual learning of the NeRF style module and fine-tune the 2D stylization decoder. In order to further make our model handle ambiguities of 2D stylization results, we introduce learnable latent codes that obey the probability distributions conditioned on the style. They are attached to training samples as conditional inputs to better learn the style module in our novel stylized NeRF. Experimental results demonstrate that our method is superior to existing approaches in both visual quality and long-range consistency.

연구 동기 및 목표

• 기존 2D 스타일라이제이션 방법들이 3D 기하학적 인식 능력을 갖추지 못해 새로운 시점에서의 일관성 있는 3D 시점 스타일라이제이션을 달성하는 데 어려움을 겪는 문제를 해결하기 위해.
• 2D 스타일 예시와 3D 암묵적 표현(즉, NeRF) 사이의 도메인 갭을 극복하여 효과적인 스타일라이제이션을 가능하게 하기 위해.
• 2D 스타일라이제이션 네트워크와 스타일라이제이션된 NeRF를 함께 훈련시켜 상호 학습을 통해 스타일라이제이션 품질과 일관성을 향상시키기 위해.
• 2D 스타일라이제이션 출력에서 발생하는 모호성으로 인해 NeRF 렲영 시 뿌연 이미지와 일관성 없는 결과가 발생하는 문제를 해결하기 위해, 스타일에 조건부된 학습 가능한 잠재 코드를 도입하기 위해.

제안 방법

• 3D 시점에 표준 NeRF를 사전 훈련하고, 그 색상 예측 헤드를 스타일 모듈로 교체하여 스타일라이제이션된 NeRF를 구성한다.
• 사전 훈련 기간 동안 일관성 손실를 사용하여 NeRF에서 2D 스타일라이제이션 네트워크로 공간 일관성 사전 지식을 희석시킨다.
• 스타일라이제이션된 NeRF와 2D 스타일라이제이션 네트워크의 출력을 일치시키기 위해 미미 손실(mimic loss)을 도입하여 지식 공유를 가능하게 한다.
• 2D 스타일라이제이션 결과를 스타일 기반 조건부 확률 분포를 따르는 학습 가능한 잠재 코드로 매개변수화하여 모호성에 대한 강건성을 향상시킨다.
• 잠재 코드가 사전 훈련된 분포의 평균 주변에 집중되도록 정규화하기 위해 분포 손실 $L_d$를 사용하여 추론 중 아티팩트를 감소시킨다.
• 볼륨 렌더링에 기반한 내재적 3D 일관성 덕분에, 최종 결과로 스타일라이제이션된 NeRF의 렌더링 출력을 선택한다.

실험 결과

연구 질문

• RQ1 2D 스타일라이제이션 네트워크와 NeRF 간의 상호 학습이 3D 시점 스타일라이제이션의 일관성과 높은 시각적 품질을 동시에 향상시킬 수 있는가?
• RQ2 2D 스타일 이미지와 3D NeRF 표현 간의 도메인 갭을 효과적으로 극복하여 스타일라이제이션을 가능하게 할 수 있는가?
• RQ3 스티일에 조건부된 학습 가능한 잠재 코드가 2D 스타일라이제이션 결과의 일관성 문제를 완화하고 스타일라이제이션된 NeRF 성능을 향상시킬 수 있는가?
• RQ4 NeRF에서 2D 네트워크로 공간 일관성 정보를 희석시키는 것이 스타일라이제이션 출력의 3D 일관성을 향상시키는가?
• RQ5 상호 학습과 조건부 잠재 코드의 조합이 단독으로 2D 또는 NeRF 기반 스타일라이제이션보다 더 효과적인가?

주요 결과

• 사용자 연구(50명 참여, 각 지표별 1000표)를 통해 우리의 방법이 최신 기법들보다 스타일라이제이션 품질과 일관성 측면에서 뛰어나다는 것이 확인되었다.
• 사용자 선호 박스플롯 분석 결과, 우리의 방법은 스타일라이제이션 품질과 일관성 모두에서 유의미하게 승리했으며, 중앙값 점수가 높고 사분자구간 범위가 좁았다.
• 제거 실험(ablation study) 결과, 학습 가능한 잠재 코드와 2D 디코더의 상호 훈련이 필수적임을 입증했다: 둘 중 하나를 제거하면 명확한 아티팩트와 뿌연 이미지가 발생한다.
• 분포 손실 $L_d$는 잠재 코드가 사전 훈련된 분포의 평균 주변에 집중되도록 효과적으로 유도하여 추론 중 아티팩트를 감소시키고 결과의 안정성을 향상시켰다.
• 2D 방법에 비해 스타일라이제이션된 NeRF 출력은 장거리 일관성이 뛰어나, 먼 시점에서의 번쩍임과 일관성 없는 현상이 발생하지 않았다.
• 상호 학습과 조건부 잠재 코드를 포함한 완전한 프레임워크는 제거된 변형들보다 더 선명한 객체 윤곽과 더 자연스러운 스타일라이제이션 결과를 생성했다.