[논문 리뷰] Tri-MipRF: Tri-Mip Representation for Efficient Anti-Aliasing Neural Radiance Fields

Wenbo Hu, Yuling Wang외 5명|arXiv (Cornell University)|2023. 07. 21.

Advanced Neuroimaging Techniques and Applications인용 수 4

한 줄 요약

Tri-MipRF는 3D 사전 필터링된 특징 공간을 세 개의 수직인 2D 미맵(2D mipmaps)으로 분해하는 새로운 Tri-Mip 인코딩을 제안하여, 안티앨리어징된 신경 레디언스 필드에 대한 효율적인 영역 샘플링을 가능하게 한다. 이 인코딩을 코너 캐스팅 렌더링 및 하이브리드 볼륨-표면 전략과 결합함으로써, Instant-NGP보다 25% 작고 5분 미만의 재구성 시간을 기록하며 최신 기술 수준의 렌더링 품질을 달성한다.

ABSTRACT

Despite the tremendous progress in neural radiance fields (NeRF), we still face a dilemma of the trade-off between quality and efficiency, e.g., MipNeRF presents fine-detailed and anti-aliased renderings but takes days for training, while Instant-ngp can accomplish the reconstruction in a few minutes but suffers from blurring or aliasing when rendering at various distances or resolutions due to ignoring the sampling area. To this end, we propose a novel Tri-Mip encoding that enables both instant reconstruction and anti-aliased high-fidelity rendering for neural radiance fields. The key is to factorize the pre-filtered 3D feature spaces in three orthogonal mipmaps. In this way, we can efficiently perform 3D area sampling by taking advantage of 2D pre-filtered feature maps, which significantly elevates the rendering quality without sacrificing efficiency. To cope with the novel Tri-Mip representation, we propose a cone-casting rendering technique to efficiently sample anti-aliased 3D features with the Tri-Mip encoding considering both pixel imaging and observing distance. Extensive experiments on both synthetic and real-world datasets demonstrate our method achieves state-of-the-art rendering quality and reconstruction speed while maintaining a compact representation that reduces 25% model size compared against Instant-ngp.

연구 동기 및 목표

• 신경 레디언스 필드에서 렌더링 품질과 재구성 효율성 사이의 오랜 기간 지속된 상충 관계를 해결한다.
• Instant-NGP와 같은 효율적인 방법에서 점 기반 샘플링으로 인해 발생하는 먼 거리의 앨리어징과 근접 시점의 블러링 문제를 해결한다.
• 재구성 속도나 모델의 압축성에 손해를 입히지 않은 채 고해상도의 안티앨리어징 렌더링을 가능하게 한다.
• 3D 특징에 대해 효율적인 영역 샘플링을 지원하면서도 메모리 효율적이고 빠른 훈련과 호환되는 표현 방식을 설계한다.

제안 방법

• 3D 공간을 세 개의 수직 평면(XY, XZ, YZ)으로 분해하는 Tri-Mip 인코딩을 제안하며, 각 평면은 사전 필터링된 3D 특징을 모델링하기 위해 미맵으로 표현된다.
• 2D 사전 필터링된 미맵을 사용하여 미맵 레벨 간의 등방성 사전 필터링을 활용해 3D 영역 샘플링을 효율적으로 수행한다.
• 각 픽셀을 디스크로 간주하고, 내접 구를 갖춘 코너를 캐스팅하여 적응형 샘플링을 수행하는 코너 캐스팅 렌더링을 도입한다.
• 샘플링 구의 3D 공간에서 점유된 영역에 기반해 Tri-Mip 인코딩을 사용하여 특징화함으로써, 다양한 거리에서 안티앨리어징을 보장한다.
• 실시간 추론(소비자용 GPU에서 60 FPS 이상)을 달성하기 위해 볼륨-표면 하이브리드 렌더링 전략을 개발한다.
• 얕은 MLP와 압축된 Tri-Mip 인코딩을 조합하여 빠른 수렴을 가능하게 하면서도 작은 모델 크기(48.2 MB)를 유지한다.

실험 결과

연구 질문

• RQ1 효율적인 재구성과 안티앨리어징 렌더링을 모두 지원할 수 있는 압축된 3D 표현을 설계할 수 있는가?
• RQ2 높은 메모리 또는 계산 비용 없이 2D 미맵 구조를 사용해 사전 필터링된 3D 특징을 효율적으로 모델링할 수 있는가?
• RQ3 사전 필터링된 2D 맵 기반의 영역 기반 샘플링을 사용한 코너 캐스팅이 다양한 시점 거리에서 앨리어징과 블러링을 제거할 수 있는가?
• RQ4 5분 이내의 재구성 시간과 기존 하이브리드 방법보다 작은 모델 크기를 달성하면서 최신 기술 수준의 렌더링 품질을 달성할 수 있는가?
• RQ5 복잡한 기하학적 구조와 외관을 가진 실제 촬영 환경에서 제안된 방법은 어떻게 성능을 발휘하는가?

주요 결과

• Tri-MipRF는 단일 스케일 Blender 데이터셋에서 PSNR(33.65)와 SSIM(0.963) 모두 최신 기술 수준을 기록하며, MipNeRF, TensoRF 및 Instant-NGP를 모두 능가한다.
• Instant-NGP 대비 모델 크기를 25% 줄여 48.2 MB의 저장 용량을 달성하였으며, 이는 하이브리드 방법 중에서 가장 작은 크기이다.
• 단일 GPU에서 재구성이 5분 이내에 완료되어 MipNeRF(3일 이상)보다 훨씬 빠르며, Instant-NGP의 5× 슈퍼 샘플링 버전보다도 더 빠르다.
• 실제 환경 촬영 데이터에서는 세밀한 디테일을 유지한 고해상도 렌더링을 생성하며, 다중 시점 융합 과정에서 아티팩트를 억제함으로써 일부 경우에서 지상 참조보다도 우수한 성능을 기록한다.
• NVIDIA RTX 3060에서 60 FPS 이상의 실시간 렌더링을 구현하여 소비자 하드웨어에서의 실용성을 입증한다.
• 시각적 결과에서 먼 거리의 시점에서는 앨리어징이 없고, 근접 시점에서는 블러링이 없음을 확인하여, 영역 기반 샘플링을 통한 코너 캐스팅의 효과를 입증한다.