[논문 리뷰] Pix2NeRF: Unsupervised Conditional $π$-GAN for Single Image to Neural Radiance Fields Translation

Shengqu Cai, Anton Obukhov외 2명|arXiv (Cornell University)|2022. 02. 26.

Advanced Vision and Imaging인용 수 8

한 줄 요약

Pix2NeRF는 3D, 다중 시점 또는 자세 감독 없이 고해상도의 새로운 시점 생성을 가능하게 하는 비지도(single-image-to-NeRF) 번역 프레임워크를 제안한다. 조건부 π-GAN을 사용하여 학습된 인코더와 π-GAN 생성기를 재구성 및 적대적 목적함수를 함께 최적화함으로써, 단일 샘플 설정에서 최신 기술 수준의 3D 일致성과 시각 품질을 달성한다.

ABSTRACT

We propose a pipeline to generate Neural Radiance Fields~(NeRF) of an object or a scene of a specific class, conditioned on a single input image. This is a challenging task, as training NeRF requires multiple views of the same scene, coupled with corresponding poses, which are hard to obtain. Our method is based on $π$-GAN, a generative model for unconditional 3D-aware image synthesis, which maps random latent codes to radiance fields of a class of objects. We jointly optimize (1) the $π$-GAN objective to utilize its high-fidelity 3D-aware generation and (2) a carefully designed reconstruction objective. The latter includes an encoder coupled with $π$-GAN generator to form an auto-encoder. Unlike previous few-shot NeRF approaches, our pipeline is unsupervised, capable of being trained with independent images without 3D, multi-view, or pose supervision. Applications of our pipeline include 3d avatar generation, object-centric novel view synthesis with a single input image, and 3d-aware super-resolution, to name a few.

연구 동기 및 목표

• 제한된 기하 정보로 인해 새로운 시점 합성이 어려운 단일 이미지 3D 복원 문제를 해결한다.
• 다중 시점 입력이나 명시적 3D 감독이 필요한 기존 소수의 NeRF 방법의 한계를 극복한다.
• 생성 모델에서 유도된 암묵적 3D 사전 지식을 활용하여 단일 이미지에서 누락된 기하 구조를 추론한다.
• 콘텐츠와 자세를 분리하는 제어 가능한 NeRF 생성을 위한 엔드 투 엔드 비지도 프레임워크를 개발한다.
• 재구성 및 적대적 목적함수의 공동 최적화가 단순한 GAN 역전환보다 3D 일치성과 시각 정확도를 크게 향상시킨다는 것을 입증한다.

제안 방법

• 3D 일치성을 내장한 카테고리별 신경 복사 반사장 생성을 위해 π-GAN을 백본 생성기로 사용한다.
• 입력 이미지를 공통 잠재 공간으로 매핑하는 인코더 네트워크를 도입하여 콘텐츠와 자세 요소를 분리한다.
• 인코더와 π-GAN 생성기를 적대적 및 재구성 손실을 함께 최적화하는 조건부 GAN 설정을 구현한다.
• 초기에는 재구성 최적화를 우선시하여 최적화를 안정화시키기 위해 훈련 중에 웜업 전략을 적용한다.
• 이중 목적 최적화를 적용한다: (1) π-GAN의 무조건적 생성 목적함수와 (2) 인코더-생성기 피드백을 통한 자동에코 재구성.
• 콘텐츠와 자세에 대한 임의의 잠재 코드를 샘플링하고 생성기를 통해 렌더링함으로써, 랜덤 잠재 코드 기반의 제로샷 NeRF 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 조건부 GAN 기반 프레임워크는 3D 또는 다중 시점 감독 없이 단일 이미지에서 고해상도의 3D 일치성 NeRF를 생성할 수 있는가?
• RQ2 재구성 및 적대적 목적함수의 공동 최적화는 단순한 GAN 역전환에 비해 3D 일치성 향상에 어떻게 기여하는가?
• RQ3 웜업 전략은 단일 이미지 NeRF 생성 중 최적화 안정성과 모드 붕괴 방지에 어떤 역할을 하는가?
• RQ4 인코더가 콘텐츠와 자세를 얼마나 잘 분리하는가에 따라 새로운 시점 합성 품질에 어떤 영향을 미치는가?
• RQ5 프레임워크는 훈련 카테고리 외부로 일반화되어 다양한 3D 생성을 지원할 수 있는가?

주요 결과

• Pix2NeRF는 3D 일치성과 시각 품질 면에서 단순한 GAN 역전환보다 뛰어난 성능을 달성한다. 단순한 GAN 역전환은 재구성 품질이 낮고 기하학적 아티팩트를 야기한다.
• 절단 실험 결과, 조건부 적대적 손실을 제거할 경우 3D 일치성은 심각하게 떨어지고 시각적 아티팩트가 증가한다.
• 웜업 전략은 필수적이다. 이를 생략할 경우 모델은 입력 시점에 과적합되어 신뢰할 수 있는 새로운 시점 생성에 실패한다.
• GAN 역전환 또는 자동에코 목적함수를 제거할 경우 뿌연, 이상한 렌더링 결과가 나타나, 두 구성 요소가 성능 향상에 필수적임을 시사한다.
• 재구성 및 적대적 손실을 통해 인코더와 π-GAN을 공동으로 훈련함으로써, 독립적인 자동에코보다 더 나은 분리와 더 현실적인 새로운 시점 합성을 가능하게 한다.
• 임의의 콘텐츠 및 자세 잠재 코드 샘플링을 통해 다양한 NeRF를 성공적으로 생성함으로써, 제로샷 3D 생성 능력을 입증한다.