[논문 리뷰] StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis

Jiatao Gu, Lingjie Liu외 2명|arXiv (Cornell University)|2021. 10. 18.

Advanced Vision and Imaging참고 문헌 45인용 수 180

한 줄 요약

StyleNeRF은 스타일 조건부 NeRF 기반 생성기에 점진적 2D 업샘플링을 결합하여 인터랙티브 속도로 고해상도이고 3D 일관성이 있는 이미지를 렌더링하고, 카메라 제어 및 스타일 편집 기능을 제공합니다.

ABSTRACT

We propose StyleNeRF, a 3D-aware generative model for photo-realistic high-resolution image synthesis with high multi-view consistency, which can be trained on unstructured 2D images. Existing approaches either cannot synthesize high-resolution images with fine details or yield noticeable 3D-inconsistent artifacts. In addition, many of them lack control over style attributes and explicit 3D camera poses. StyleNeRF integrates the neural radiance field (NeRF) into a style-based generator to tackle the aforementioned challenges, i.e., improving rendering efficiency and 3D consistency for high-resolution image generation. We perform volume rendering only to produce a low-resolution feature map and progressively apply upsampling in 2D to address the first issue. To mitigate the inconsistencies caused by 2D upsampling, we propose multiple designs, including a better upsampler and a new regularization loss. With these designs, StyleNeRF can synthesize high-resolution images at interactive rates while preserving 3D consistency at high quality. StyleNeRF also enables control of camera poses and different levels of styles, which can generalize to unseen views. It also supports challenging tasks, including zoom-in and-out, style mixing, inversion, and semantic editing.

연구 동기 및 목표

• 고해상도 출력과 강력한 다중 시야 일관성을 다루는 3D 인지 이미지 합성을 동기 부여한다.
• 렌더링 효율성과 3D 일관성을 개선하기 위해 스타일 기반 생성기를 NeRF와 통합한다.
• 스타일 혼합, 보간, 역화, 의미 편집을 포함하여 카메라 포즈와 스타일 속성에 대한 명시적 제어를 가능하게 한다.

제안 방법

• 매핑 네트워크로부터 얻은 스타일 벡터에 조건화된 특성을 갖는 NeRF로 3D 장면을 모델링한다.
• 색상 예측이 시야 방향에 의존하지 않도록 스타일 조건화 MLP를 사용해 밀도와 색상을 예측하여 일관성을 향상시킨다.
• 3D 일관성을 유지하면서 저해상도 NeRF 특성 맵을 생성하고 2D에서 점진적으로 업샘플링하여 고해상도로 렌더링한다.
• 학습 가능한 구성요소를 고정된 블러와 결합한 특수한 업샘플링 연산자를 사용해 아티팩트를 감소시킨다.
• 출력이 NeRF 렌더링과 일치하도록 NeRF 경로 정규화를 도입하고 시야 방향 의존성 및 노이즈 주입을 억제한다.
• 저해상도에서 고해상도로 점진적으로 학습하여 기하학 학습과 다중 시야 일관성을 안정화한다.

실험 결과

연구 질문

• RQ1 스타일 조건화된 NeRF 기반 생성기가 사진처럼 사실적이고 다중 시야 간 강한 일관성을 갖는 고해상도 이미지를 생성할 수 있는가?
• RQ2 설계된 업샘퍼와 함께하는 2D 업샘플링이 인터랙티브 렌더링 속도를 가능하게 하면서 3D 일관성을 보존하는가?
• RQ3 색상에 대한 시야 방향 조건을 제거하고 2D 노이즈를 완화하는 것이 3D 일관성과 품질에 미치는 영향은?
• RQ4 3D 인지 생성 모델에서 가능한 명시적 카메라 제어와 스타일 조작(혼합, 보간, 역화, 편집)의 수준은 어느 정도인가?

주요 결과

• StyleNeRF는 상호 작용 속도에서 강한 다중 시야 일관성을 가진 고품질의 1024^2 이미지 합성을 달성한다.
• 제안된 업샘플링 설계와 NeRF 경로 정규화는 단순 업샘플링에 비해 3D 일관성을 크게 향상시킨다.
• 컬러 예측에 대한 시야 방향 조건 제거가 시야 간 합성 일관성을 개선한다.
• 모델은 스타일 혼합, 보간, 역화 및 CLIP 정보를 활용한 편집을 포함한 명시적 카메라 제어와 스타일 조작을 지원한다.
• 점진적 학습은 고해상도에서의 초기 학습의 안정성과 기하학 학습을 개선한다.