[논문 리뷰] MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures

Zhiqin Chen, Thomas Funkhouser외 2명|arXiv (Cornell University)|2022. 07. 30.

Computer Graphics and Visualization Techniques인용 수 10

한 줄 요약

MobileNeRF는 텍스처가 부여된 다각형과 경량의 시점에 의존하는 MLP를 사용하여 모바일 기기에서 표준 그래픽스 하드웨어를 통해 인터랙티브하고 고품질의 새로운 시점 합성 구현을 위한 새로운 NeRF 표현 방식을 제안한다. z-buffer링과 프래그먼트 색더를 활용한 다각형 래스터라이제이션 파이프라인을 통해 SNeRG 대비 10배 빠른 렌더링을 달성하면서도 메모리 사용량을 줄였으며, 웹 브라우저와 통합 GPU에서도 실행 가능하다.

ABSTRACT

Neural Radiance Fields (NeRFs) have demonstrated amazing ability to synthesize images of 3D scenes from novel views. However, they rely upon specialized volumetric rendering algorithms based on ray marching that are mismatched to the capabilities of widely deployed graphics hardware. This paper introduces a new NeRF representation based on textured polygons that can synthesize novel images efficiently with standard rendering pipelines. The NeRF is represented as a set of polygons with textures representing binary opacities and feature vectors. Traditional rendering of the polygons with a z-buffer yields an image with features at every pixel, which are interpreted by a small, view-dependent MLP running in a fragment shader to produce a final pixel color. This approach enables NeRFs to be rendered with the traditional polygon rasterization pipeline, which provides massive pixel-level parallelism, achieving interactive frame rates on a wide range of compute platforms, including mobile phones.

연구 동기 및 목표

• 모바일 및 저전력 기기에서 신경 레디언스 필드의 실시간 고품질 새로운 시점 합성을 가능하게 하기 위해.
• 기존 NeRF와 SNeRG의 성능 및 메모리 제약를 극복하기 위해 일반 소비자용 그래픽스 하드웨어를 활용하기 위해.
• 체적 텍스처를 표면 텍스처로 대체하여 대량의 픽셀 수준 병렬 처리를 달성하기 위해 레이 마치기 대신 표준 래스터라이제이션 파이프라인을 사용하기 위해.
• 간단한 삼각형 메쉬 표현 방식을 통해 3D 시각의 인터랙티브 조작을 지원하기 위해.
• 제한된 GPU 메모리와 전력 자원을 가진 웹 브라우저 및 기기에서의 배포를 가능하게 하기 위해.

제안 방법

• 텍스처에 이진 투명도와 특징 벡터를 저장하는 텍스처가 부여된 다각형의 집합으로 NeRF를 표현하기 위해.
• 레이 마치기 또는 깊이 정렬 없이도 효율적으로 픽셀 단위 특징 벡터를 계산하기 위해 z-buffer링을 사용한 표준 다각형 래스터라이제이션을 사용하기 위해.
• 최종 픽셀 색상을 예측하기 위해 렌더링된 특징 벡터를 GLSL 프래그먼트 색더 내의 소형 시점에 의존하는 MLP를 통과시키기 위해.
• 세 단계로 구성된 훈련 과정을 사용하기 위해: 정규 그리드를 사용한 초기 메쉬 최적화, 투명도에 대한 의사 기울기( pseudo-gradients)를 사용한 정밀 조정, 특징 및 색상 네트워크의 최종 조정.
• 이질성 아티팩트를 줄이고 시각적 품질을 향상시키기 위해 렌더링 중 슈퍼 샘플링을 적용하기 위해.
• 훈련 중에 보이지 않는 셀을 제거하기 위해 가속화 그리드를 사용하여 더 큰 배치 크기와 더 빠른 수렴을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 레이 마치기 대신 표준 그래픽스 래스터라이제이션 파이프라인을 사용하여 NeRF 표현을 효율적으로 렌더링할 수 있는가?
• RQ2 이러한 표현 방식이 모바일 및 저사양 기기에서 실시간 성능을 달성할 수 있는가?
• RQ3 체적 텍스처를 표면 텍스처로 대체함으로써 메모리 사용량을 줄일 수 있고 이미지 품질을 유지할 수 있는가?
• RQ4 프래그먼트 색더 내의 경량 MLP가 반사와 같은 시점에 의존하는 효과를 효과적으로 모델링할 수 있는가?
• RQ5 간단한 메쉬 인터페이스를 통해 3D 시각의 인터랙티브 편집을 지원할 수 있는가?

주요 결과

• MobileNeRF는 표준 테스트 씬에서 SNeRG 대비 10배 빠른 렌더링 속도를 달성하면서도 동일한 이미지 품질을 유지한다.
• 체적 텍스처 대신 표면 텍스처를 저장함으로써 메모리 사용량을 줄였으며, 제한된 메모리 자원을 가진 통합 GPU에서도 배포가 가능해졌다.
• 표준 그래픽스 API에 의존함으로써 웹 브라우저와 테스트된 모든 기기(예: 스마트폰 포함)에서 실행 가능해졌다.
• 슈퍼 샘플링과 시점에 의존하는 MLP가 시각적 품질에 가장 큰 영향을 미치며, 이를 제거할 경우 눈에 띄는 이질성 아티팩트와 성능 저하가 발생한다.
• 모델은 실시간 3D 시각 조작을 지원하며, 합성 시나리오에서 객체 편집(예: 가지를 구부리거나 뿔을 제거)을 통해 이를 입증했다.
• 절단 분석 결과, 메쉬 정점 최적화와 투명도에 대한 의사 기울기 사용이 높은 성능을 내기 위해 필수적임을 확인했다.