[논문 리뷰] Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields

Jonathan T. Barron, Ben Mildenhall외 4명|arXiv (Cornell University)|2021. 03. 24.

Advanced Neuroimaging Techniques and Applications인용 수 12

한 줄 요약

Mip-NeRF는 단일 광선 샘플링을 원뿔 부채꼴로 대체하여 NeRF 렌더링에서 앨리어싱과 블러링을 줄이는 다중스케일 신경 렌디언스 필드 표현을 도입한다. 3D 가우시안 영역을 피처화하기 위해 통합 위치 인코딩(IPE)을 사용함으로써, 다중스케일 벤치마크에서 60% 낮은 오차, 7% 빠른 추론, 기존 NeRF에 비해 반 토막 난 모델 크기를 달성한다.

ABSTRACT

The rendering procedure used by neural radiance fields (NeRF) samples a scene with a single ray per pixel and may therefore produce renderings that are excessively blurred or aliased when training or testing images observe scene content at different resolutions. The straightforward solution of supersampling by rendering with multiple rays per pixel is impractical for NeRF, because rendering each ray requires querying a multilayer perceptron hundreds of times. Our solution, which we call "mip-NeRF" (a la "mipmap"), extends NeRF to represent the scene at a continuously-valued scale. By efficiently rendering anti-aliased conical frustums instead of rays, mip-NeRF reduces objectionable aliasing artifacts and significantly improves NeRF's ability to represent fine details, while also being 7% faster than NeRF and half the size. Compared to NeRF, mip-NeRF reduces average error rates by 17% on the dataset presented with NeRF and by 60% on a challenging multiscale variant of that dataset that we present. Mip-NeRF is also able to match the accuracy of a brute-force supersampled NeRF on our multiscale dataset while being 22x faster.

연구 동기 및 목표

• 장면을 다양한 거리에서 렌더링할 때 발생하는 NeRF의 앨리어징과 블러링 문제를 해결한다.
• NeRF에서 브루트 포스 슈퍼샘플링이 계산적으로 비현실적인 점을 다중 스케일에서 사전 필터링함으로써 이를 극복한다.
• 효율적인 앨리어징 방지 렌더링을 가능하게 하는 연속적이고 스케일 인식 가능한 표현을 개발한다.
• 모델 크기와 추론 시간을 줄이고 다중스케일 및 과도한 시각 합성 벤치마크에서 정확도를 향상시킨다.
• 스케일 인식 피처 표현을 활용해 NeRF의 별도의 코arse 및 퍼피 MLP를 하나의 더 효율적인 MLP로 통합한다.

제안 방법

• NeRF의 단일 광선 샘플링을 각 픽셀의 3D 영역을 나타내는 원뿔 부채꼴로 대체한다.
• 원뿔 부채꼴을 3D 가우시안으로 근사하고, 닫힌 형식의 해를 사용해 이를 통합한다.
• 단일 점이 아닌 3D 영역(Gaussian)을 피처화하는 통합 위치 인코딩(IPE)을 도입하여 NeRF의 위치 인코딩을 일반화한다.
• 가우시안 영역 전체에 걸쳐 위치 인코딩의 기대값을 계산하여, 사전 필터링된 렌디언스 필드를 미분 가능하고 효율적으로 렌더링할 수 있도록 한다.
• 스케일 인식 능력을 활용해 NeRF의 코ARSE 및 퍼피 MLP를 하나의 MLP로 통합함으로써 모델 복잡도를 감소시킨다.
• 다중스케일 표현을 사용해 훈련 및 렌더링를 수행함으로써, 슈퍼샘플링 없이 다양한 렌더링 해상도에서 정확한 렌더링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 장면을 다양한 거리에서 렌더링할 때 연속적인 다중스케일 표현이 NeRF 렌더링의 앨리어징과 블러링을 줄일 수 있는가?
• RQ2 사전 필터링된 스케일 인식 신경 렌디언스 필드는 추론 비용을 증가시키지 않고도 효율적으로 계산되고 렌더링될 수 있는가?
• RQ3 단일 점 위치 인코딩을 통합 영역 기반 인코딩으로 대체하면 렌더링 품질과 일반화 능력이 향상되는가?
• RQ4 모델 크기와 추론 시간을 줄이며 다중스케일 데이터셋에서 NeRF의 성능을 크게 향상시킬 수 있는가?
• RQ5 스케일 인식 피처 표현을 활용해 NeRF에서 별도의 코ARSE 및 퍼피 MLP가 필요 없어질 수 있는가?

주요 결과

• Mip-NeRF는 원래 NeRF 벤치마크에서 평균 오차를 17% 감소시키고, 도전적인 다중스케일 변형 데이터셋에서는 60% 감소시켰다.
• 다중스케일 데이터셋에서 Mip-NeRF는 브루트 포스 슈퍼샘플링된 NeRF와 동일한 정확도를 달성하면서도 22배 빠른 속도를 기록했다.
• Mip-NeRF는 표준 NeRF보다 7% 더 빠르며, 코ARSE 및 퍼피 MLP를 통합함으로써 파라미터 수가 반으로 줄었다.
• 통합 위치 인코딩(IPE)은 성능에 필수적이며, IPE를 제거한 아블레이션 실험에서 LPIPS는 평균 0.004 증가하고 SSIM은 평균 0.003 감소했다.
• Mip-NeRF는 블렌더 데이터셋에서 최신 기술(SOTA) 성능을 달성했으며, SSIM 점수는 의자(0.981)에서 배(0.991)까지 기록하여 NeRF 및 기타 SOTA 방법을 능가했다.
• 훈련을 조기에 중단하더라도 Mip-NeRF는 강력한 성능을 유지하여 안정성과 더 빠른 수렴 능력을 보였다.