[논문 리뷰] Nerfstudio: A Modular Framework for Neural Radiance Field Development

Matthew Tancik, Ethan Weber외 11명|arXiv (Cornell University)|2023. 02. 08.

Advanced Neural Network Applications인용 수 19

한 줄 요약

Nerfstudio는 NeRF 기술을 모듈식 PyTorch 프레임워크로 통합하고, 실시간 웹 기반 시각화를 가능하게 하며, 현실 세계 데이터 워크플로를 지원하여 Nerfacto라는 빠르고 유연한 기본 방법으로 귀결됩니다.

ABSTRACT

Neural Radiance Fields (NeRF) are a rapidly growing area of research with wide-ranging applications in computer vision, graphics, robotics, and more. In order to streamline the development and deployment of NeRF research, we propose a modular PyTorch framework, Nerfstudio. Our framework includes plug-and-play components for implementing NeRF-based methods, which make it easy for researchers and practitioners to incorporate NeRF into their projects. Additionally, the modular design enables support for extensive real-time visualization tools, streamlined pipelines for importing captured in-the-wild data, and tools for exporting to video, point cloud and mesh representations. The modularity of Nerfstudio enables the development of Nerfacto, our method that combines components from recent papers to achieve a balance between speed and quality, while also remaining flexible to future modifications. To promote community-driven development, all associated code and data are made publicly available with open-source licensing at https://nerf.studio.

연구 동기 및 목표

• 연구 개발을 가속화하기 위해 NeRF 기술을 재사용 가능한 구성요소로 통합한다.
• 훈련 및 테스트 중 NeRF 장면의 실시간 시각화를 가능하게 한다.
• 장치로 포착한 실세계 데이터에서 NeRF를 구축하기 위한 엔드투엔드 워크플로를 제공한다.
• 접근성을 넓히기 위해 다양한 입력 형식과 내보내기 방식 지원한다.

제안 방법

• NeRF 구성요소를 DataManager, DataParsers, RayBundles, RaySamples, Frustums, Models, Fields로 구성하는 모듈식 아키텍처를 도입한다.
• 원격으로 액세스 가능한 호스팅 사이트를 통해 인터랙티브 시각화를 위한 실시간 웹 뷰어(WebSocket/WebRTC)를 구현한다.
• 모바일 앱 및 사진측량 도구용 DataParsers를 포함하고 여러 내보내기 형식(비디오, 깊이, 포인트 클라우드, 메시)을 제공하여 실세계 데이터 파이프라인을 지원한다.
• 제안 네트워크를 포함한 조각별 광선 샘플링 전략을 채택하여 효율성과 품질을 향상시킨다.
• 무한대 공간 처리 및 외관 변화를 다루기 위해 L_infty의 장면 수축과 이미지별 appearance 임베딩을 도입한다.
• 이전 연구의 구성요소를 결합한 Nerfacto 기본 방법을 제시하여 속도와 품질의 균형을 맞춘다(예:MipNeRF-360, NeRF-W, Ref-NeRF, Instant-NGP 등).

실험 결과

연구 질문

• RQ1 모듈식 구성요소를 통해 NeRF 개발을 간소화하고 다수의 기존 기술을 신속하게 실험 및 통합할 수 있는 방법은 무엇인가?
• RQ2 실시간 웹 기반 뷰어가 현실 세계 데이터로 학습된 NeRF의 정성적 평가 및 개발 효율성을 향상시킬 수 있는가?
• RQ3 모듈식 제거(ablations)가 Nerfacto의 성능에 미치는 영향은 무엇이며, 현실 세계 데이터를 사용할 때 지표가 어디에서 맞거나 벗어나나?
• RQ4 장면 수축과 appearance 임베딩이 현실 세계의 장면에서 재구성 품질 및 일반화에 어떤 영향을 미치는가?
• RQ5 비연구 사용자(아티스트, VFX, 업계 종사자 등)에게 가장 유익한 내보내기 및 시각화 기능은 무엇인가?

주요 결과

방법	PSNR ↑	SSIM ↑	LPIPS ↓
NeRF	24.85	0.659	0.426
MipNeRF	25.12	0.672	0.414
NeRF++	26.21	0.729	0.348
MipNeRF (big MLP)	27.60	0.806	0.251
NeRF++ (big MLP)	27.66	0.803	0.265
MipNeRF-360	29.23	0.844	0.207
Nerfacto (ours)	27.98 / 25.38	0.800 / 0.688	0.291 / 0.390

• Nerfacto는 일부 기준선 대비 훈련 시간이 현저히 감소하면서도(최저 약 5K 이터레이션, 약 2분) 실시간 시각화를 제공하는 등 경쟁력 있는 정성적 결과를 얻는다.
• Appearance 임베딩과 장면 수축이 artifacts 및 지각 품질에 실질적인 영향을 미친다는 점을 보여주는 제거 연구는 PSNR/SSIM/LPIPS를 단독 평가자로 사용하는 한계점을 강조한다.
• 모듈식 프레임워크는 여러 논문의 구성요소를 효과적으로 결합할 수 있게 하여 CUDA 특화 코드 없이도 속도와 품질을 개선하는 유연한 경로를 제공한다.
• 실시간 웹 뷰어는 교육 및 새로운 시점에서의 정성적 평가를 촉진하여 전통적인 지표 중심 평가의 한계를 해결한다.
• Nerfstudio의 오픈 소스 생태계는 활발한 커뮤니티 참여와 함께 성장해 SDFStudio 및 ArcNerf 같은 파생 프로젝트를 고무시키고 현실 세계 NeRF 워크플로의 접근성을 넓힌다.