[논문 리뷰] Zip-NeRF: Anti-Aliased Grid-Based Neural Radiance Fields

Jonathan T. Barron, Ben Mildenhall외 3명|arXiv (Cornell University)|2023. 04. 13.

3D Shape Modeling and Analysis인용 수 14

한 줄 요약

Zip-NeRF는 mip-NeRF 360의 스케일 인식 안티앨리어싱과 Instant NGP의 격자 기반 특징을 결합하여 더 빠른 학습과 오차 감소를 달성하는 안티앨리어싱 NeRF를 제공합니다. 다중 스케일 벤치마크에서 최대 77%의 개선 및 mip-NeRF 360보다 24배 빠른 학습 포함.

ABSTRACT

Neural Radiance Field training can be accelerated through the use of grid-based representations in NeRF's learned mapping from spatial coordinates to colors and volumetric density. However, these grid-based approaches lack an explicit understanding of scale and therefore often introduce aliasing, usually in the form of jaggies or missing scene content. Anti-aliasing has previously been addressed by mip-NeRF 360, which reasons about sub-volumes along a cone rather than points along a ray, but this approach is not natively compatible with current grid-based techniques. We show how ideas from rendering and signal processing can be used to construct a technique that combines mip-NeRF 360 and grid-based models such as Instant NGP to yield error rates that are 8% - 77% lower than either prior technique, and that trains 24x faster than mip-NeRF 360.

연구 동기 및 목표

• grid-based 표현을 통해 빠른 NeRF 학습을 동기화하고 스케일로 인한 앨리어싱을 해결하는 것

제안 방법

• mip-NeRF 360의 콘 기반 하위 볼륨 입력을 iNGP의 계층적 격자 특징과 통합한다.
• 다중 샘플링을 도입하여 스케일 인식된 사전 필터링 특징을 생성한다.
• 보간된 특징의 가중치를 낮춰 스케일별 샘플에 대해 앤티앨리어싱을 적용한다.
• z-앨리어싱 감소를 위해 제안된 감독 학습에 대해 mip-NeRF 360의 인터레벨 손실을 매끄럽고 사전 필터링된 손실로 대체한다.
• 레이 경로를 따라 거리의 도메인을 정규화된 거리로 맵핑하는 새로운 정규화 변환을 사용하여 스케일 간 안정적인 학습을 구현한다.

실험 결과

연구 질문

• RQ1 격자 기반 NeRF를 확장하여 훈련 속도를 해치지 않으면서 스케일 인식 안티앨리어싱을 처리할 수 있는 방법은 무엇인가?
• RQ2 다중 샘플링과 샘플별 가중치 감소가 mip-NeRF 360의 프레임워크와 호환되는 스케일 인식 특징을 생성할 수 있는가?
• RQ3 제안된 감독 하에서 매끄럽고 안티앨리어싱된 손실이 이전 방법에서 관찰된 z-앨리어싱을 완화하는가?
• RQ4 iNGP 격자와 mip-NeRF 360의 통합이 스케일 간 렌더링 품질과 학습 시간에 미치는 영향은 무엇인가?

주요 결과

• Zip-NeRF는 관련 벤치마크에서 기존 기법 대비 오차율을 최대 8%~77% 낮췄다.
• Zip-NeRF는 mip-NeRF 360 벤치마크에서 mip-NeRF 360보다 24× 빠르게 학습한다.
• 다중 스케일 벤치마크에서 Zip-NeRF는 오차율을 최대 77% 감소시킨다.
• 기준선과 비교했을 때, Zip-NeRF는 RMSE, DSSIM, LPIPS에서 주목할 만한 개선을 제공하며 (예: iNGP 기준 대비 최대 28% RMSE, 42% DSSIM, 37% LPIPS 감소)
• 이 방법은 미세한 구조를 보존하고 도전적인 장면에서 jaggies(계단 현상) 및 내용 누락과 같은 앨리어싱을 감소시킨다.