[논문 리뷰] UE4-NeRF:Neural Radiance Field for Real-Time Rendering of Large-Scale Scene

Jiaming Gu, Minchao Jiang외 6명|arXiv (Cornell University)|2023. 10. 20.

Advanced Vision and Imaging인용 수 6

한 줄 요약

UE4-NeRF는 대규모 장면을 하위-NeRF로 분할하고, 최적화된 다각형 메esh로 표현하며, 다수의 수준의 세부 정보(Lookup of Detail, LOD) 기반으로 유니티 엔진 4의 래스터라이제이션 파이프라인과 통합함으로써 실시간, 대규모 장면 렲영 시스템을 제안한다. 이는 4K 해상도에서 최대 43FPS를 달성하면서도 사진처럼 사실적인 품질을 유지하고 상호작용 가능한 장면 편집을 가능하게 한다.

ABSTRACT

Neural Radiance Fields (NeRF) is a novel implicit 3D reconstruction method that shows immense potential and has been gaining increasing attention. It enables the reconstruction of 3D scenes solely from a set of photographs. However, its real-time rendering capability, especially for interactive real-time rendering of large-scale scenes, still has significant limitations. To address these challenges, in this paper, we propose a novel neural rendering system called UE4-NeRF, specifically designed for real-time rendering of large-scale scenes. We partitioned each large scene into different sub-NeRFs. In order to represent the partitioned independent scene, we initialize polygonal meshes by constructing multiple regular octahedra within the scene and the vertices of the polygonal faces are continuously optimized during the training process. Drawing inspiration from Level of Detail (LOD) techniques, we trained meshes of varying levels of detail for different observation levels. Our approach combines with the rasterization pipeline in Unreal Engine 4 (UE4), achieving real-time rendering of large-scale scenes at 4K resolution with a frame rate of up to 43 FPS. Rendering within UE4 also facilitates scene editing in subsequent stages. Furthermore, through experiments, we have demonstrated that our method achieves rendering quality comparable to state-of-the-art approaches. Project page: https://jamchaos.github.io/UE4-NeRF/.

연구 동기 및 목표

• 기존 NeRF 방법이 대규모 장면에 대해 실시간 렌더링 기능이 부족한 문제를 해결한다.
• 대규모 환경에서 NeRF의 학습 및 추론 시 계산 병목 현상을 해결한다.
• 게임 엔진 환경 내에서 상호작용 가능한 장면 편집 및 조작을 가능하게 한다.
• 최적화된 메쉬 표현 및 렌더링 파이프라인 통합을 통해 실시간 성능를 확보하면서도 높은 시각적 정밀도를 유지한다.

제안 방법

• 계산 부담을 줄이고 분산 학습을 가능하게 하기 위해 대규모 장면을 하위-NeRF로 분할한다.
• 일반적인 올리언드론을 사용해 다각형 메쉬를 초기화하고, 학습 중 정점 위치를 최적화하여 기하학적 정렬을 향상시킨다.
• 즉각적-NGP에서 유래한 다중 해상도 해시 인코딩을 활용해 NeRF 학습을 가속화하고 수렴성을 향상시킨다.
• 특징 벡터를 색상과 투명도로 매핑하는 신경망 HLSL 조각 색상 쉐이더를 사용해 NeRF 출력물을 UE4의 래스터라이제이션 파이프라인과 통합한다.
• 조금 더 거친 메쉬를 더 높은 시야 거리에서 사용하는 수준의 세부 정보(Lookup of Detail, LOD) 전략을 구현해 실시간 프레임 레이트를 유지한다.
• 학습 및 추론 시 CUDA 기반 계산을 활용해 Mobile-NeRF 대비 1000배 빠른 속도를 달성한다.

실험 결과

연구 질문

• RQ1 NeRF 기반 복원은 대규모이고 복잡한 장면의 실시간 렌더링에 적합하게 조정될 수 있는가?
• RQ2 대규모 환경에서 NeRF 학습 및 추론의 계산 비용은 어떻게 줄일 수 있는가?
• RQ3 암시적 NeRF 표현과 명시적 메쉬 기반 렌더링을 조합한 하이브리드 접근 방식이 실시간 성능를 달성할 수 있는가?
• RQ4 장면 편집 및 물체 조합은 얼마나 원활하게 NeRF 기반 렌더링 파이프라인에 통합될 수 있는가?
• RQ5 LOD 기반 메쉬 표현 방식은 다양한 시야 거리에서 렌더링 품질과 프레임 레이트에 어떤 영향을 미치는가?

주요 결과

• UE4-NeRF는 UE4 래스터라이제이션 파이프라인을 활용해 대규모 장면을 4K 해상도에서 최대 43FPS로 실시간으로 렌더링한다.
• 이 방법은 사진처럼 사실적인 렌더링 품질을 보이며, 특히 복잡한 텍스처와 반투명 재료에서 선명도와 세부 묘사에서 Mobile-NeRF와 Mega-NeRF를 능가한다.
• LOD 기반 메쉬 표현은 다양한 시야 거리에서 일관된 프레임 레이트를 유지한다. 고도가 높아질수록 더 거친 메쉬를 사용해 성능 유지를 도모한다.
• UE4 내에서의 장면 편집은 원활하다: 사용자는 표준 3D 모델(예: .obj, .fbx)을 가져와 편집할 수 있으며, 자동으로 음영 처리가 이루어지고 물체 추가 후에도 프레임 레이트가 향상된다.
• UE4-NeRF의 학습 속도는 Mobile-NeRF 대비 1000배 빠르며, 최적화된 CUDA 구현과 다중 해상도 인코딩 덕분이다.
• 사전 렌더링 중 레이 캡처 문제에도 불구하고 시스템은 구멍이 최소한인 고품질 메쉬를 생성하며, 학습 중 정점 최적화가 기하학적 정확도를 향상시킨다.