[논문 리뷰] NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields

Liangchen Song, Anpei Chen외 6명|arXiv (Cornell University)|2022. 10. 28.

Advanced Vision and Imaging인용 수 6

한 줄 요약

NeRFPlayer는 4차원 시공간을 정적, 변형, 새로운 영역으로 분해하는 자기지도 학습 분해 필드를 통해 스트리밍 가능한 동적 시나리오 표현을 도입함으로써 하이브리드 신경망 표현에서 슬라이딩 윈도우 기반으로 효율적이고 인터랙티브한 렲링 및 저비트레이트 스트리밍을 가능하게 한다. 이는 단일 및 다중 카메라 입력에서 상태 최신 수준의 품질로 1초당 프레임 재구성 및 실시간 렌더링을 달성한다.

ABSTRACT

Visually exploring in a real-world 4D spatiotemporal space freely in VR has been a long-term quest. The task is especially appealing when only a few or even single RGB cameras are used for capturing the dynamic scene. To this end, we present an efficient framework capable of fast reconstruction, compact modeling, and streamable rendering. First, we propose to decompose the 4D spatiotemporal space according to temporal characteristics. Points in the 4D space are associated with probabilities of belonging to three categories: static, deforming, and new areas. Each area is represented and regularized by a separate neural field. Second, we propose a hybrid representations based feature streaming scheme for efficiently modeling the neural fields. Our approach, coined NeRFPlayer, is evaluated on dynamic scenes captured by single hand-held cameras and multi-camera arrays, achieving comparable or superior rendering performance in terms of quality and speed comparable to recent state-of-the-art methods, achieving reconstruction in 10 seconds per frame and interactive rendering.

연구 동기 및 목표

• 단일 또는 몇 개의 RGB 카메라만을 사용하여 VR에서 실시간으로 상호작용 가능한 3D 시나리오 탐색을 가능하게 하기 위해.
• 동적 시나리오 재구성에서 희박한 감독과 다양한 시간 주파수 문제를 해결하기 위해.
• 낮은 비트레이트와 높은 품질을 동시에 확보하는 컴팩트하고 스트리밍 가능한 동적 시나리오 렌더링을 지원하기 위해.
• 통합된 신경망 표현 내에서 정적, 변형, 새로운 영역과 같은 다양한 시간적 동역학을 모델링하기 위해.
• 하이브리드 표현과 슬라이딩 윈도우 기반 특징 관리 방식을 통해 효율적이고 구성 가능한 신경 렌더링 장면 필드 스트리밍을 가능하게 하기 위해.

제안 방법

• 포인트 기반 분해 필드를 사용하여 4차원 시공간을 정적, 변형, 새로운 영역의 세 범주로 분해한다.
• 전반적인 단순성 손실로 정규화된 자기지도 학습 분해 필드를 도입하여 불필요한 새로운 영역 예측을 억제한다.
• 시간에 따라 변화하는 특징 채널을 효율적으로 모델링하기 위해 하이브리드 신경망 표현(예: TensoRF-CP/VM)에 슬라이딩 윈도우 기반 기법을 적용한다.
• 공간적 특징 볼륨을 시간적으로 의존적인 것으로 간주하며, 시간은 인접 프레임 간의 겹치는 채널을 통해 인코딩된다.
• 빠른 렌더링과 구성 가능한 비트레이트를 위한 학습 가능한 특징 격자 기반 하이브리드 표현을 사용한다.
• 프레임당 새로운 특징 채널 수(k)를 조절하여 구성 가능한 스트리밍을 지원함으로써 비트레이트와 품질 간의 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 희박한 시야 조건 하에서도 동적 시나리오를 정적, 변형, 새로운 영역으로 효과적으로 분해함으로써 재구성 품질을 향상시킬 수 있는가?
• RQ2 분해를 통한 시간적 동역학 분리가 단일 카메라 설정에서 렌더링 품질과 일반화 능력을 향상시키는가?
• RQ3 슬라이딩 윈도우 기반 특징 스트리밍 기법이 저비트레이트, 인터랙티브한 동적 시나리오 렌더링을 가능하게 하는가?
• RQ4 분해 기반 정규화가 카메라 어레이로 촬영한 대량의 움직임을 포함한 시나리오에서 성능에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 최소한의 지연과 높은 시각적 정밀도를 확보한 채로 어느 정도 스트리밍을 지원하는가?

주요 결과

• NeRFPlayer는 단일 카메라 및 다중 카메라 데이터셋 모두에서 1초당 프레임 재구성 및 인터랙티브 렌더링을 달성한다.
• TensoRF-CP를 사용할 경우 k=16.00일 때 비트레이트 0.333 MB/프레임에서 PSNR 25.885, SSIM 0.857를 달성한다.
• TensoRF-VM을 사용할 경우 비트레이트 17.112 MB/프레임에서 PSNR 26.203, SSIM 0.878를 기록하여 높은 비트레이트에서 뚜렷한 성능 향상을 보인다.
• 아블레이션 연구 결과, 단일 카메라 데이터에서 세 영역 모두를 모델링하는 것이 필수적이며, 대량의 움직임을 포함한 시나리오에서는 변형 모델링의 중요성이 확인된다.
• 비트레이트는 k=0.50일 때 0.041 MB/프레임에서 k=1.00일 때 17.112 MB/프레임까지 조절 가능하여 다양한 스트리밍 구성이 가능하다.
• 노출 조건이 변동하는 상황(예: 노출 시간 변화)에서는 모델이 훈련된 시야에 과적합되며 실패함을 보이며, 비균일한 카메라 반응 처리 능력에 한계가 있음을 시사한다.