[논문 리뷰] NeuVV: Neural Volumetric Videos with Immersive Rendering and Editing

Jiakai Zhang, Liao Wang외 8명|arXiv (Cornell University)|2022. 02. 12.

Advanced Vision and Imaging인용 수 5

한 줄 요약

NeuVV는 사진과 유사한 실시간 신경 볼륨 영상 프레임워크를 제공하여 동적 공연의 몰입감 있고 상호작용 가능한 공간-시간 렲영 및 편집을 가능하게 한다. Video Octree(VOctree) 내에서 초구면 조화함수와 학습 가능한 기저 표현을 사용하여 동적 반사율 필드를 인수분해함으로써, 훈련 속도를 두 배수 빠르게 하고 메모리 오버헤드를 감소시켜 실시간 VR 렌더링과 재시간 조정, 재배치, 조명 효과와 같은 동적 콘텐츠 조합을 가능하게 한다.

ABSTRACT

Some of the most exciting experiences that Metaverse promises to offer, for instance, live interactions with virtual characters in virtual environments, require real-time photo-realistic rendering. 3D reconstruction approaches to rendering, active or passive, still require extensive cleanup work to fix the meshes or point clouds. In this paper, we present a neural volumography technique called neural volumetric video or NeuVV to support immersive, interactive, and spatial-temporal rendering of volumetric video contents with photo-realism and in real-time. The core of NeuVV is to efficiently encode a dynamic neural radiance field (NeRF) into renderable and editable primitives. We introduce two types of factorization schemes: a hyper-spherical harmonics (HH) decomposition for modeling smooth color variations over space and time and a learnable basis representation for modeling abrupt density and color changes caused by motion. NeuVV factorization can be integrated into a Video Octree (VOctree) analogous to PlenOctree to significantly accelerate training while reducing memory overhead. Real-time NeuVV rendering further enables a class of immersive content editing tools. Specifically, NeuVV treats each VOctree as a primitive and implements volume-based depth ordering and alpha blending to realize spatial-temporal compositions for content re-purposing. For example, we demonstrate positioning varied manifestations of the same performance at different 3D locations with different timing, adjusting color/texture of the performer's clothing, casting spotlight shadows and synthesizing distance falloff lighting, etc, all at an interactive speed. We further develop a hybrid neural-rasterization rendering framework to support consumer-level VR headsets so that the aforementioned volumetric video viewing and editing, for the first time, can be conducted immersively in virtual 3D space.

연구 동기 및 목표

• 메타버스 응용을 위한 실시간, 사진과 유사한 몰입감 있는 볼륨 영상 렌더링을 가능하게 하기 위해.
• 기존 메쉬 및 포인트 클러드 표현 방식이 동적 시나리오 재구성에서 광범위한 수동 정리가 필요로 하는 한계를 극복하기 위해.
• 재시간 조정, 재배치, 조명 효과와 같은 실시간 상호작용 가능한 공간-시간 편집을 가능하게 하기 위해.
• 효율적인 인수분해와 옥트리 기반 인코딩을 통해 동적 NeRF 기반 표현의 메모리 및 훈련 오버헤드를 감소시키기 위해.
• 하이브리드 신경-래스터라이제이션 렌더링 파이프라인을 통해 소비자 수준의 VR 헤드셋에 배포 가능하게 하기 위해.

제안 방법

• NeuVV는 3D 위치, 시야 방향, 시간를 색상과 밀도로 매핑하는 6차원 반사율 필드로 동적 시나리오를 모델링한다.
• 볼륨 내에서 부드러운 공간적 및 시간적 색상 변화를 모델링하기 위해 초구면 조화함수(HH) 분해를 사용한다.
• 운동으로 인한 급격한 밀도 및 색상 변화를 포착하기 위해 학습 가능한 기저 표현을 도입하여 시간적 압축을 가능하게 한다.
• 인수분해된 표현을 PlenOctree와 유사하게 실시간 렌더링과 메모리 감소를 위한 Video Octree(VOctree)에 통합한다.
• 소비자 수준의 VR 헤드셋에서 저지연, 몰입감 있는 렌더링을 지원하기 위해 하이브리드 신경-래스터라이제이션 렌더링 프레임워크를 개발한다.
• 볼륨 기반 깊이 순서와 VOctree 원소의 알파 블렌딩을 통해 콘텐츠 편집을 가능하게 하여 위치, 스케일, 타이밍 및 외관을 실시간으로 조작할 수 있다.

실험 결과

연구 질문

• RQ1 신경 반사율 필드 표현이 실시간 볼륨 영상 렌더링 및 편집을 위해 효율적으로 인수분해될 수 있는가?
• RQ2 신경 볼륨 표현 내에서 부드럽고 급격한 운동 유도 변화를 색상과 밀도 측면에서 별도로 효과적으로 모델링할 수 있는가?
• RQ3 VOctree 기반 구조는 표준 NeRF에 비해 상당한 속도 향상과 메모리 절감을 달성할 수 있는가, 동시에 사진과 유사한 질감을 유지하는가?
• RQ4 신경 표현을 사용하여 3차원 공간에서 볼륨 영상 콘텐츠의 상호작용 가능한 몰입형 편집이 가능한가?
• RQ5 이 프레임워크는 소비자 수준의 VR 하드웨어에 배포되어 실시간 몰입형 시청 및 편집을 지원할 수 있는가?

주요 결과

• NeuVV는 볼륨 영상의 실시간 렌더링과 상호작용 가능한 편집을 달성하여 사용자가 VR 헤드셋을 사용해 3차원 시나리오를 자유롭게 탐색할 수 있도록 한다.
• 초구면 조화함수와 학습 가능한 기저를 사용한 인수분해로 표준 동적 NeRF에 비해 메모리 오버헤드와 훈련 시간이 두 배수 감소한다.
• VOctree 표현은 효율적인 실시간 렌더링을 가능하게 하며, 공간-시간 조합을 위한 볼륨 기반 깊이 순서와 알파 블렌딩을 지원한다.
• 시스템은 재배치, 타이밍 조정, 성능 복제, 스Pot라이트 및 거리 감쇠와 같은 동적 조명 효과 적용과 같은 다양한 상호작용 편집 작업을 지원한다.
• 하이브리드 신경-래스터라이제이션 파이프라인은 소비자 수준의 VR 헤드셋에서 몰입감 있는 렌더링을 가능하게 하여 실시간 볼륨 영상 편집을 가상 환경에서 접근 가능하게 한다.
• 지금까지 NeuVV는 완전히 몰입형 3차원 환경에서 실시간 렌더링과 상호작용 가능한 편집을 지원하는 첫 번째 신경 기반 볼륨 영상 프레임워크이다.