[논문 리뷰] Points2NeRF: Generating Neural Radiance Fields from 3D point cloud

Dominik Zimny, T. Trzciński외 2명|arXiv (Cornell University)|2022. 06. 02.

Advanced Neural Network Applications인용 수 8

한 줄 요약

Points2NeRF는 색상이 부여된 비구조적인 3D 점군에서 직접 신경 렌더링 필드(NeRF) 가중치를 생성하는 하이퍼넷워크 기반 오토인코더를 제안한다. 이는 단지 희소한 점군에서 학습할 경우 NeRF 품질을 떨어뜨리는 문제를 해결함으로써, 고해상도의 새로운 시점 합성, 훈련된 객체를 초월한 일반화, 그리고 효율적인 NeRF 초기화를 가능하게 한다. 이는 ShapeNet 벤치마크에서 최고 성능을 기록하며 F-Score(0.995)와 Chamfer Distance(0.16×10²)를 달성한다.

ABSTRACT

Contemporary registration devices for 3D visual information, such as LIDARs and various depth cameras, capture data as 3D point clouds. In turn, such clouds are challenging to be processed due to their size and complexity. Existing methods address this problem by fitting a mesh to the point cloud and rendering it instead. This approach, however, leads to the reduced fidelity of the resulting visualization and misses color information of the objects crucial in computer graphics applications. In this work, we propose to mitigate this challenge by representing 3D objects as Neural Radiance Fields (NeRFs). We leverage a hypernetwork paradigm and train the model to take a 3D point cloud with the associated color values and return a NeRF network's weights that reconstruct 3D objects from input 2D images. Our method provides efficient 3D object representation and offers several advantages over the existing approaches, including the ability to condition NeRFs and improved generalization beyond objects seen in training. The latter we also confirmed in the results of our empirical evaluation.

연구 동기 및 목표

• 희소한 3D 점군에서만 학습할 경우 부족한 영역으로 인해 NeRF 렌더링 품질이 열화되는 문제를 해결하기 위해.
• NeRF가 3D 점군 입력에 조건을 줌으로써 훈련된 객체 카테고리 외의 일반화를 가능하게 하기 위해.
• 점군에서 NeRF 가중치를 생성하는 방법을 개발하여 효율적이고 고해상도의 새로운 시점 합성을 가능하게 하기 위해.
• 학습된 NeRF 매개변수를 통해 연속적이고 암묵적인 3D 표현을 제공함으로써, 노이즈 및 부분 데이터에 대한 강인성과 보간 기능을 지원하기 위해.

제안 방법

• 모델은 3D 점군(색상 포함)이 저차원 잠재 공간으로 인코딩되는 하이퍼넷워크 파라다임을 사용한다.
• 디코더 네트워크는 잠재 코드에서 전체 NeRF 가중치를 생성하여, 목표 NeRF가 새로운 시점을 렌더링할 수 있도록 한다.
• 이 자동인코더는 이미지 재구성 손실(PSNR)과 3D 형태 재구성 손실(Chamfer Distance 및 F-Score)의 조합을 사용하여 엔드 투 엔드로 학습된다.
• 잠재 코드가 다양한 3D 객체 카테고리를 표현할 수 있도록 하여, 다양한 객체 유형에 대한 일반화를 가능하게 하는 조건부 처리를 지원한다.
• NeRF 가중치의 매개변수 함수로서 암묵적으로 연속적인 3D 객체 표현을 학습함으로써, 객체 공간 내에서의 보간 기능을 가능하게 한다.
• 모델은 2048개 점군을 사용하여 ShapeNet 데이터에서 학습되며, 평가 시에는 3000점 샘플링을 수행한다.

실험 결과

연구 질문

• RQ1 희소한 3D 점군에서 2D 이미지 대신 NeRF를 효과적으로 학습시킬 수 있는가?
• RQ2 3D 점군의 희소성 문제를 어떻게 완화하여 고품질의 NeRF 렌더링을 생성할 수 있는가?
• RQ3 NeRF 생성 과정을 3D 점군 입력에 조건부로 설정하여 훈련된 객체를 초월한 일반화를 달성할 수 있는가?
• RQ4 Points2NeRF는 전통적인 이미지 기반 NeRF 학습에 대해 얼마나 효과적인 초기화로 기능할 수 있는가?
• RQ5 학습된 잠재 공간이 3D 객체의 의미 있는 보간과 연속적 표현을 지원할 수 있는가?

주요 결과

• Points2NeRF는 ShapeNet 자동차 카테고리에서 테스트 F-Score 0.995를 기록하여, POCO(0.946) 및 ConvONet(0.849)와 같은 기준 모델들을 압도한다.
• 자동차에 대해 Chamfer Distance를 0.16×10²로 감소시켜, PointConv(1.49×10²) 및 ONet(1.04×10²)보다 뚜렷이 뛰어난 성능을 보였다.
• Points2NeRF 가중치로 초기화된 NeRF는 약 7,000 에포크 만에 높은 PSNR 수준에 도달하지만, 표준 NeRF 학습은 약 30,000 에포크가 필요하다.
• 조건부 처리 메커니즘 덕분에 훈련된 객체 외의 객체 유형에 대해 제로샷 추론이 가능해, 훈련된 객체를 초월한 일반화가 가능하다.
• 잠재 공간은 3D 객체 간의 의미 있는 보간을 가능하게 하여, 모델이 연속적이고 암묵적인 3D 표현을 학습할 수 있음을 보여준다.
• 모델은 부분적 또는 노이즈가 있는 점군에 대해서도 강인한 성능을 보이며, 향후 작업에서 이 분야의 명시적 개선을 목표로 한다.