[논문 리뷰] D-TensoRF: Tensorial Radiance Fields for Dynamic Scenes

Hankyu Jang, Dae-Young Kim|arXiv (Cornell University)|2022. 12. 05.

Advanced Vision and Imaging인용 수 9

한 줄 요약

D-TensoRF는 3차원 공간과 시간을 포함하는 5차원 텐서(3D 공간 + 시간)로 복사장(field)를 모델링하고, CP 또는 행렬-행렬(MM) 분해를 적용하여 저랭크 인수분해를 수행함으로써 동적 3D 시나리오를 위한 컴act하고 빠른 텐서 기반 복사장(field)을 제안한다. 부드러움 정규화를 통해 변형 네트워크 없이도 시간적 일관성을 확보함으로써, 16분 이내의 학습 시간과 최소 1.8MB의 모델 크기로 최신 기술 대비 뛰어난 시각적 품질을 달성한다.

ABSTRACT

Neural radiance field (NeRF) attracts attention as a promising approach to reconstructing the 3D scene. As NeRF emerges, subsequent studies have been conducted to model dynamic scenes, which include motions or topological changes. However, most of them use an additional deformation network, slowing down the training and rendering speed. Tensorial radiance field (TensoRF) recently shows its potential for fast, high-quality reconstruction of static scenes with compact model size. In this paper, we present D-TensoRF, a tensorial radiance field for dynamic scenes, enabling novel view synthesis at a specific time. We consider the radiance field of a dynamic scene as a 5D tensor. The 5D tensor represents a 4D grid in which each axis corresponds to X, Y, Z, and time and has 1D multi-channel features per element. Similar to TensoRF, we decompose the grid either into rank-one vector components (CP decomposition) or low-rank matrix components (newly proposed MM decomposition). We also use smoothing regularization to reflect the relationship between features at different times (temporal dependency). We conduct extensive evaluations to analyze our models. We show that D-TensoRF with CP decomposition and MM decomposition both have short training times and significantly low memory footprints with quantitatively and qualitatively competitive rendering results in comparison to the state-of-the-art methods in 3D dynamic scene modeling.

연구 동기 및 목표

• 변형 네트워크가 느리다는 점에 기인한 기존 NeRF 기반 방법의 동적 시나리오에 대한 비효율성을 해결하기 위해.
• 기존에 정적 시나리오 전용이었던 TensoRF 프레임워크를 5차원 텐서 표현을 통해 동적 시나리오로 확장하기 위해.
• 학습 시간과 모델 크기를 줄이면서도 동적 시나리오 재구성에서 높은 렌더링 품질을 유지하기 위해.
• 시간적 의존성을 명시적으로 반영하기 위해 시간 축을 따라 가우시안 기반 부드러움 정규화를 도입하여 운동 일관성을 향상시키기 위해.

제안 방법

• 공간(X, Y, Z)과 시간(t) 축을 포함하는 5차원 텐서로 동적 시나리오의 복사장(field)를 표현하며, 각 요소는 다중 채널 특징을 저장한다.
• 5차원 텐서를 X, Y, Z 및 시간 축을 따라 저랭크 성분으로 분해하기 위해 CANDECOMP/PARAFAC(CP) 분해를 적용한다.
• CP보다 계산 비용을 낮추기 위해 새로운 행렬-행렬(MM) 분해를 제안하며, 약간의 모델 크기 증가를 감수하여 더 빠른 학습을 달성한다.
• 시간 축을 따라 가우시안 기반의 부드러움 정규화를 도입하여 인접 프레임 간의 시간적 일관성을 강제한다.
• 소규모 신경망과 가분한 렌더링 프로세스를 사용하여 저랭크 성분을 최적화한다.
• 세부 사항과 효율성의 균형을 맞추기 위해 적응형 해상도를 갖춘 격자 기반 특징 표현을 사용한다.

실험 결과

연구 질문

• RQ1 변형 네트워크 없이도 텐서 기반 복사장(field)가 동적 시나리오로 확장될 수 있는가?
• RQ2 CP 분해와 제안된 MM 분해 간의 성능 비교에서, 학습 속도, 모델 크기, 렌더링 품질 측면에서 어떤 차이가 있는가?
• RQ3 시간적 부드러움 정규화가 동적 시나리오 모델링에서 운동 일관성과 렌더링 품질에 어떤 영향을 미치는가?
• RQ4 격자 해상도와 성분 수가 세부 사항, 선명도, 계산 비용 간의 상호 보완적 관계에 어떤 영향을 미치는가?
• RQ5 명시적 텐서 분해와 시간 정규화를 통해 컴팩트하고 빠르며 고품질의 동적 시나리오 재구성가 가능할 수 있는가?

주요 결과

• CP 분해를 사용한 D-TensoRF는 모델 크기가 단 1.8MB에 불과하여 기존 방법보다 크게 작다.
• MM 분해를 사용한 D-TensoRF는 학습 시간을 단 16분(60k 스텝)으로 줄여 최신 기술 대비 학습 속도에서 뛰어난 성능을 보였다.
• 부드러움 정규화는 CP 변종에서 PSNR를 1.77dB(28.91에서 30.68로) 향상시키고, LPIPS를 0.01(0.04에서 0.03으로) 감소시켜 그 필요성을 입증했다.
• D-TensoRF는 최신 기술 대비 LPIPS 점수 0.03을 기록하여 새로운 시야 합성에서 뛰어난 시각적 품질을 확보했다.
• 150³×Nt 해상도에서 D-TensoRF-CP는 정적 부분을 선명하게 렌더링하는 반면, D-TensoRF-MM는 100³×Nt에서 움직이는 영역의 세부 사항과 흐림의 균형을 최적화했다.
• 제거 실험 결과, 높고 낮은 격자 해상도 모두 성능 저하를 초래함을 확인하여 선택된 해상도 설정이 최적임을 입증했다.