[논문 리뷰] HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN

Adam Kania, Artur Kasymov외 5명|arXiv (Cornell University)|2023. 01. 27.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

HyperNeRFGAN은 2D 이미지에서 3D 인식 신경 렌더링 필드(NeRF)를 직접 생성하는 새로운 GAN 아키텍처를 제안한다. 이 모델은 무작위 노이즈에서 NeRF 가중치를 직접 생성하며, CARLA 및 ShapeNet 데이터셋에서 최신 기준(FID) 점수를 달성하여 기존 SIREN 기반 GAN 및 NeRF-GAN 방법보다 뛰어난 3D 일致성과 이미지 품질을 입증한다.

ABSTRACT

The recent surge in popularity of deep generative models for 3D objects has highlighted the need for more efficient training methods, particularly given the difficulties associated with training with conventional 3D representations, such as voxels or point clouds. Neural Radiance Fields (NeRFs), which provide the current benchmark in terms of quality for the generation of novel views of complex 3D scenes from a limited set of 2D images, represent a promising solution to this challenge. However, the training of these models requires the knowledge of the respective camera positions from which the images were viewed. In this paper, we overcome this limitation by introducing HyperNeRFGAN, a Generative Adversarial Network (GAN) architecture employing a hypernetwork paradigm to transform a Gaussian noise into the weights of a NeRF architecture that does not utilize viewing directions in its training phase. Consequently, as evidenced by the findings of our experimental study, the proposed model, despite its notable simplicity in comparison to existing state-of-the-art alternatives, demonstrates superior performance on a diverse range of image datasets where camera position estimation is challenging, particularly in the context of medical data.

연구 동기 및 목표

• 비라벨링된 2D 이미지에서 고품질 3D NeRF 표현을 생성하는 GAN 기반 생성 모델을 개발하는 것.
• NeRF의 조건화 어려움으로 인해 기존 GAN이 SIREN을 사용하는 데 기인하는 한계를 극복하는 것.
• NeRF의 부피 렌더링 및 레이 트레이싱을 통해 3D 일치성을 강제함으로써 3D 인식 이미지 합성을 가능하게 하는 것.
• 렌더링 구성 요소에서 공유 전역 매개변수를 제거하여 각 생성된 객체마다 전용 NeRF를 제공하는 것.
• 기존 SIREN 기반 GAN 및 NeRF-GAN 기준보다 향상된 3D 일반화 및 이미지 품질을 달성하는 것.

제안 방법

• 하이퍼넷은 무작위 정규 노이즈를 입력으로 받아 목표 NeRF 모델의 전체 가중치를 생성한다.
• 생성된 NeRF 가중치는 부피 렌더링 및 레이 트레이싱을 통해 새로운 2D 시점을 렌더링하는 데 사용된다.
• 전체 GAN 아키텍처는 암시적이고 종단 간(end-to-end) 방식으로 표준 2D StyleGAN2 판별기를 사용해 훈련된다.
• 모델은 지표 3D 기하학 정보에 접근하지 않고 비라벨링된 2D 이미지만으로 훈련된다.
• 아키텍처는 3D 공간 및 방향 성질에 의존하는 NeRF의 미분 가능 렌더링 과정을 활용해 3D 일치성을 강제한다.
• 이 방법은 렌더링 헤드에서 매개변수 공유를 방지하여 각 생성된 객체가 고유하고 전용의 NeRF 표현을 가지도록 보장한다.

Figure 1: HyperNeRFGAN architecture leverages a hypernetwork paradigm to transfer gaussian noise into weights of NeRF model. After that, we render 2D novel views by NeRF and use a classical 2D discriminator. Our architecture produces 2D images, but we use 3D-aware NeRF representation, which forces t

실험 결과

연구 질문

• RQ1 하이퍼넷을 사용해 2D 이미지에서 3D 객체 생성을 위한 NeRF 가중치를 효과적으로 생성할 수 있는가?
• RQ2 GAN 프레임워크에서 SIREN을 NeRF로 대체할 경우 3D 일치성과 이미지 품질이 향상되는가?
• RQ3 2D 이미지만으로 훈련된 GAN이 고해상도 및 우수한 일반화 능력을 갖춘 3D 인식 출력을 생성할 수 있는가?
• RQ4 제안된 HyperNeRFGAN은 SIREN 기반 GAN인 π-GAN 및 GRAF와 비교해 3D 생성 과제에서 정량적으로 어떻게 성능을 냈는가?
• RQ5 모델은 제한된 2D 시점에서 유리한 투명성과 같은 복잡한 물리적 성질을 가진 3D 객체를 현실적으로 생성할 수 있는가?

주요 결과

• CARLA 데이터셋에서 HyperNeRFGAN은 Fréchet Inception Distance(FID) 20.5를 기록하여 π-GAN(29.2), GRAF(41.7), HoloGAN(67.5)을 모두 초월한다.
• ShapeNet 데이터셋에서 HyperNeRFGAN은 자동차(FID: 29.6), 비행기(FID: 33.4), 의자(FID: 22.0)에서 강력한 3D 생성 품질을 입증한다.
• CelebA에서 HyperNeRFGAN은 FID 15.04, KID 0.66를 기록했으며, π-GAN(FID: 14.7, KID: 0.39)과 유사한 성능을 달성했고, 고해상도 스코어(2.63)도 유지한다.
• 정성적 결과는 HyperNeRFGAN이 π-GAN 및 GRAF가 어려워하는 유리 투명성과 같은 복잡한 물리적 성질을 성공적으로 모델링함을 보여준다.
• 모델은 고품질의 3D 인식 이미지를 생성할 수 있으며, 메쉬 추출 등의 후속 작업에 사용 가능한 NeRF 재구성도 가능하다(예: 그림 6).
• 절단 분석 결과, GAN 프레임워크에서 SIREN 대신 NeRF를 사용할 경우 더 뛰어난 3D 일치성과 이미지 품질을 달성함을 확인하여 핵심 설계 선택의 타당성을 입증한다.

Figure 2: Comparison of HyperNeRFGAN and HoloGAN, GRAF, $\pi$ -GAN on CARLA. We obtain similar results to $\pi$ -GAN, but we have a better value of FID score, see Tab 2 .