[논문 리뷰] MERF: Memory-Efficient Radiance Fields for Real-time View Synthesis in Unbounded Scenes

Christian Reiser, Richard Szeliski외 6명|arXiv (Cornell University)|2023. 02. 23.

Advanced Vision and Imaging인용 수 4

한 줄 요약

MERF는 메모리 효율적인 렌디언스 필드 표현을 도입하여 웹 브라우저에서 직접 실시간으로 포토리얼리틱한 뷰 합성을 가능하게 한다. 희박한 3D 특징 격자와 고해상도 2D 특징 평면을 조합하고, 비유한 공간을 위한 새로운 압축 함수를 통해, 이전 실시간 방법보다 렌더링 속도가 빠르고 메모리 사용량이 5배 적은 성능을 달성하면서도 최적화된 신경망 표현으로부터 손실 없는 베이킹 절차를 통해 고화질을 유지한다.

ABSTRACT

Neural radiance fields enable state-of-the-art photorealistic view synthesis. However, existing radiance field representations are either too compute-intensive for real-time rendering or require too much memory to scale to large scenes. We present a Memory-Efficient Radiance Field (MERF) representation that achieves real-time rendering of large-scale scenes in a browser. MERF reduces the memory consumption of prior sparse volumetric radiance fields using a combination of a sparse feature grid and high-resolution 2D feature planes. To support large-scale unbounded scenes, we introduce a novel contraction function that maps scene coordinates into a bounded volume while still allowing for efficient ray-box intersection. We design a lossless procedure for baking the parameterization used during training into a model that achieves real-time rendering while still preserving the photorealistic view synthesis quality of a volumetric radiance field.

연구 동기 및 목표

• 최소한의 메모리로 대규모 비유한 장면의 실시간 포토리얼리틱한 뷰 합성을 가능하게 하기 위해.
• 신경 렌디언스 필드에서 메모리 효율성과 렌더링 속도 사이의 상충 관계를 해결하기 위해.
• 웹 브라우저 및 모바일 장치와 같은 자원 제약 환경에서의 실용적 구현을 지원하기 위해.
• 최적화 단계에서 실시간 추론으로의 전환 과정에서 렌더링 품질을 유지하기 위해 손실 없는 베이킹 절차를 통해.
• 새로운 압축 함수를 사용하여 체적 렌디언스 필드를 비유한 장면으로 확장하면서도 레이-박스 교차 검사 효율성을 유지하기 위해.

제안 방법

• 낮은 해상도의 3D 희박한 특징 격자와 고해상도의 2D 특징 평면을 조합한 하이브리드 파라미터화 방식을 사용하여 메모리 소비를 감소시킨다.
• 비유한 장면 좌표를 유한한 부피로 매핑하면서도 직선 기하학을 유지하여 효율적인 레이-박스 교차 검사를 가능하게 하는 새로운 압축 함수를 도입한다.
• 최적화 과정에서 NGP 해시 격자를 사용하여 미분 가능한 희박화와 기울기 기반 학습을 수행한다.
• 최적화 이후, 표현을 손실 없는 방식으로 이진 점유 격자와 2D 특징 평면의 집합으로 베이킹하여 빠른 추론을 구현한다.
• 베이킹된 모델은 뷰 의존적 MLP를 사용하여 외관 모델링을 수행하며, 웹 환경에서 실시간 렌더링과 호환된다.
• 전체 파ip라인은 최종적으로 베이킹된 모델이 최적화된 모델과 동일한 기반 렌디언스 필드를 표현하도록 보장하여 렌더링 품질을 유지한다.

Figure 1 . Our method, MERF , allows for real-time view synthesis in the browser (framerates shown here are measured on a Macbook Pro M1). We design a volumetric scene representation that is first optimized to maximize rendering quality and then losslessly baked into a more efficient format for fast

실험 결과

연구 질문

• RQ1 신경 렌디언스 필드 표현을 비유한 장면에서 실시간 렌더링에 적합하면서도 메모리 효율적인 방식으로 만들 수 있는가?
• RQ2 실시간 추론 시 렌더링 품질을 손상시키지 않고 체적 표현을 압축할 수 있는가?
• RQ3 비유한 좌표를 유한한 공간으로 매핑하면서도 레이-마르칭에 적합한 기하학적 정확성을 유지할 수 있는 압축 함수를 설계할 수 있는가?
• RQ4 고품질의 최적화된 렌디언스 필드를 손실 없는 방식으로 더 빠르고 더 컴act한 형태로 변환할 수 있는가? 그 정도는 어느 정도인가?
• RQ5 제안된 방법은 동일한 메모리 예산 하에서 기존 실시간 NeRF 변종 대비 속도, 메모리 사용량, 이미지 품질 측면에서 어떻게 비교되는가?

주요 결과

• M1 맥북 프로에서 1280×720 해상도에서 MERF는 28.3 FPS를 달성하여 SNeRG++(18.7 FPS)보다 높은 품질을 유지하면서도 뿌리 메모리 사용량이 524 MB 뿐이다.
• MERF는 SNeRG++의 4571 MB 대비 5분의 1 미만인 524 MB VRAM으로 메모리 소비를 줄였으며, PSNR 및 SSIM 성능은 동일하거나 이를 초월한다.
• RTX 3090 GPU에서 1920×1080 해상도에서 MERF는 119 FPS를 달성하여 Instant-NGP의 4 FPS보다 뚜렷이 뛰어나다.
• 외부 환경에서 MERF는 MobileNeRF보다 GPU 메모리 사용량의 절반 미만으로도 PSNR를 MSE 기준으로 31.6% 향상시켰다.
• 손실 없는 베이킹 절차는 렌더링 품질을 유지하며, 최적화된 모델과 베이킹된 모델 간 PSNR 차이가 뿐만으로 0.01에 불과하다 (23.20 vs. 23.19).
• 제안된 압축 함수는 구면 압축과 동등한 이미지 품질(PNSR 23.22 vs. 23.20)을 달성하면서도 더 빠른 레이-AABB 교차 검사 테스트를 가능하게 한다.

Figure 2 . Our scene representation. For a location $\mathbf{x}$ along a ray: (1) We query its eight neighbors on a low-resolution 3D grid; and we project it onto each of the three axis-aligned planes, and then query each projection’s four neighbors on a high-resolution 2D grid. (2) The eight low-re