[논문 리뷰] Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields

Jonathan T. Barron, Ben Mildenhall외 3명|arXiv (Cornell University)|2021. 11. 23.

Advanced Vision and Imaging인용 수 5

한 줄 요약

Mip-NeRF 360는 비선형 장면 파arameterization, 제안 기반 정련 프레임워크, 그리고 왜곡 기반 정규화자를 도입하여 미프-NeRF를 무한대 360° 장면으로 확장함으로써 평균 제곱 오차를 57% 감소시키고, 복잡한 실세계 장면에 대한 고해상도 뷰 합성과 세밀한 깊이 맵을 가능하게 함.

ABSTRACT

Though neural radiance fields (NeRF) have demonstrated impressive view synthesis results on objects and small bounded regions of space, they struggle on "unbounded" scenes, where the camera may point in any direction and content may exist at any distance. In this setting, existing NeRF-like models often produce blurry or low-resolution renderings (due to the unbalanced detail and scale of nearby and distant objects), are slow to train, and may exhibit artifacts due to the inherent ambiguity of the task of reconstructing a large scene from a small set of images. We present an extension of mip-NeRF (a NeRF variant that addresses sampling and aliasing) that uses a non-linear scene parameterization, online distillation, and a novel distortion-based regularizer to overcome the challenges presented by unbounded scenes. Our model, which we dub "mip-NeRF 360" as we target scenes in which the camera rotates 360 degrees around a point, reduces mean-squared error by 57% compared to mip-NeRF, and is able to produce realistic synthesized views and detailed depth maps for highly intricate, unbounded real-world scenes.

연구 동기 및 목표

• 카메라가 어떤 방향을 향할 수 있고 콘텐츠가 임의의 거리에 존재하는 무한대 장면에서 NeRF 및 미프-NeRF의 한계를 해결하기 위해.
• 희소 뷰로부터 큰 복잡한 장면을 재구성할 때 내재된 파arameterization, 학습 효율성, 장면의 모호성 문제를 극복하기 위해.
• 외부 학습 데이터나 프록시 기하 구조 없이도 복잡한 실세계 360° 장면에서 현실적인 새로운 뷰 합성과 세밀한 깊이 추정을 가능하게 하기 위해.
• 온라인 정련과 새로운 정규화 전략을 도입함으로써 학습 시간을 단축하고 렌더링 품질을 향상시키기 위해.

제안 방법

• 카르만 유사 압축을 사용하여 3D 좌표를 유한한 공간으로 매핑하는 비선형 장면 파arameterization을 도입하여 근처 콘텐츠에는 더 많은 능력을 할당하고 먼 곳에는 덜 할당함.
• 이중 브랜치 MLP 아키텍처를 활용: 경량 제안 MLP가 샘플링 가중치를 예측하고, 고용량 NeRF MLP가 개선된 간격을 사용하여 최종 이미지를 렌더링함.
• 온라인 정련을 적용하여 NeRF MLP의 히스토그램 가중치를 사용해 제안 MLP를 감독함으로써 직접 이미지 감독 없이도 효과적인 굵은-세밀한 샘플링을 가능하게 함.
• 미프-NeRF의 프루즘 기반 샘플링에 특화된 왜곡 기반 정규화자($\mathcal{L}_{\mathrm{dist}}$)를 도입하여 플로터와 같은 기하학적 아티팩트를 감소시킴.
• 다중 스케일 주파수를 갖는 위치 인코딩(IPE)을 적용하여 표현 능력을 향상시키면서도 미프-NeRF 프레임워크와의 호환성을 유지함.
• 장면을 기하학적 일致성을 유지하면서 유한한 공간으로 압축하는 압축 함수를 적용하여 외부 기하 구조나 추가 학습 데이터가 필요 없도록 함.

실험 결과

연구 질문

• RQ1 NeRF 기반 모델은 어떻게 임의의 카메라 방향과 모든 거리에 존재하는 콘텐츠를 가진 무한대 360° 장면을 처리할 수 있는가?
• RQ2 무한대 장면에서 다양한 깊이에 걸쳐 모델 능력을 가장 잘 할당하는 파arameterization 전략은 무엇인가? 이는 렌더링 품질 향상과 앨리어징 감소에 어떻게 기여하는가?
• RQ3 제안 기반 정련 프레임워크는 외부 감독에 의존하지 않고도 무한대 장면에서 학습 효율성과 렌더링 정밀도를 향상시킬 수 있는가?
• RQ4 프루즘 기반 샘플링에 맞춤형으로 설계된 왜곡 기반 정규화자는 무한대 장면 렌더링에서 기하학적 아티팩트를 어떻게 감소시키는가?
• RQ5 경량 제안 네트워크와 온라인 정련을 사용하여 단일 고용량 NeRF MLP를 얼마나 효율적으로 학습시킬 수 있는가?

주요 결과

• Mip-NeRF 360은 무한대 360° 장면에서 미프-NeRF 대비 평균 제곱 오차를 57% 감소시켜 재구성 정확도 향상이 뚜렷하게 나타남.
• 자전거 장면에서 PSNR는 24.37, SSIM는 0.687을 기록하여, 아블레이트된 변종 및 이전 방법보다 영상 품질과 깊이 맵의 세부 정보 모두에서 뛰어난 성능을 보임.
• 왜곡 정규화자($\mathcal{L}_{\mathrm{dist}}$)를 제거할 경우 눈에 띄는