[논문 리뷰] Tensor4D : Efficient Neural 4D Decomposition for High-fidelity Dynamic Reconstruction and Rendering

Ruizhi Shao, Zerong Zheng외 4명|arXiv (Cornell University)|2022. 11. 21.

Advanced Vision and Imaging인용 수 6

한 줄 요약

Tensor4D는 시간 인식 볼륨을 분해하고 조밀한 2D 특징 평면 9개를 사용하여 희소 시야 또는 단일 카메라 RGB에서 효율적이고 고정밀 재구성과 렲영을 가능하게 하는 계층적 4차원 텐서 분해 방법을 제안한다. 시간 인식 볼륨을 분해하고 조밀한 인과성 분해 전략을 적용함으로써 기존의 NeRF 기반 방법에 비해 훈련 시간과 메모리 사용량을 줄이며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present Tensor4D, an efficient yet effective approach to dynamic scene modeling. The key of our solution is an efficient 4D tensor decomposition method so that the dynamic scene can be directly represented as a 4D spatio-temporal tensor. To tackle the accompanying memory issue, we decompose the 4D tensor hierarchically by projecting it first into three time-aware volumes and then nine compact feature planes. In this way, spatial information over time can be simultaneously captured in a compact and memory-efficient manner. When applying Tensor4D for dynamic scene reconstruction and rendering, we further factorize the 4D fields to different scales in the sense that structural motions and dynamic detailed changes can be learned from coarse to fine. The effectiveness of our method is validated on both synthetic and real-world scenes. Extensive experiments show that our method is able to achieve high-quality dynamic reconstruction and rendering from sparse-view camera rigs or even a monocular camera. The code and dataset will be released at https://liuyebin.com/tensor4d/tensor4d.html.

연구 동기 및 목표

• 동적 장면을 위한 4차원 신경 레디언스 필드 학습의 높은 계산 및 메모리 비용 문제를 해결하기 위해.
• 희소 시야 또는 단일 카메라 설정 하에서 고품질의 재구성 및 렌더링을 가능하게 하기 위해.
• 비용이 많이 드는 MLP에 의존하지 않고도 복잡한 운동과 세부 정보를 포괄하는 메모리 효율적인 표현을 개발하기 위해.
• 구조적이고 세부적인 운동 성분을 단계적으로 학습할 수 있도록 계층적 분해 전략을 도입하기 위해.
• 제한된 관측 조건 하에서 암묵적 정규화 역할을 하는 조밀하고 명시적인 표현을 제공하기 위해.

제안 방법

• 4차원 시공간 텐서를 세 개의 시간 인식 3차원 볼륨으로 분해하고, 각 볼륨을 다시 세 개의 2차원 특징 평면으로 분해하여 총 아홉 개의 2차원 평면을 통해 4차원 표현을 조밀하게 구현한다.
• EG3D의 삼중 투영 개념을 4차원으로 확장하여 4차원 필드를 상호 수직인 세 개의 시간 인식 볼륨으로 투영함으로써 시공간 일관성을 유지한다.
• 스케일을 기준으로 하여 계층적 분해 전략을 적용하여 4차원 필드를 단계적으로 분해함으로써 근본적인 운동과 세부 정보를 점진적으로 학습한다.
• 명시적 4차원 텐서 분해와 정규화 항(예: TV 기반의 매끄러움)을 통합하여 희소 시야 조건 하에서도 강건성을 향상시킨다.
• 다중 시야 및 단일 시야 재구성에 적합한 NeRF-T(시간 조건 레디언스 필드) 및 D-NeRF(기준형 + 운동 필드) 프레임워크에 본 방법을 적용한다.
• 훈련 손실로는 빛의 강도, 깊이, 기하학적 매끄러움 항목을 포함하여 렌더링 품질을 향상시키고 잡음 줄이기.

실험 결과

연구 질문

• RQ1 명시적 특징 평면을 사용한 계층적 4차원 텐서 분해가 메모리 및 훈련 비용을 줄이며 고정밀 동적 장면 재구성을 달성할 수 있는가?
• RQ2 희소 시야 또는 단일 시야 입력 조건 하에서 손가락 움직임이나 옷 주름과 같은 세부 정보를 얼마나 잘 유지하는가?
• RQ3 비교적 낮은 수준의 분해 전략과 정규화가 기존의 NeRF 기반 방법에 비해 재구성 품질을 얼마나 향상시키는가?
• RQ4 제한된 카메라 시야와 깊이 센서 없이도 실제 장면에 일반화 가능한가?
• RQ5 기존의 4차원 NeRF 기반 기준선 대비 제안된 방법의 메모리 및 훈련 효율성은 어떠한가?

주요 결과

• Tensor4D는 합성 및 실제 장면 데이터셋에서 모두 최신 기술 수준의 새로운 시야 합성 품질을 달성하였으며, 손가락, 얼굴 표정, 옷 주름과 같은 세부 정보를 뛰어나게 회복한다.
• 단일 카메라 합성 데이터셋에서, 정량적 지표(예: PSNR, LPIPS)와 정성적 결과 모두에서 SOTA 기준선을 초월하며 잡음이 적다.
• 4대의 카메라로 구성된 희소 시야 환경에서도 고정밀한 렌더링 품질과 시간적 일관성을 유지하며, NeRF-T, D-NeRF, NeuS-T를 모두 능가하는 PSNR 및 LPIPS 성능을 기록한다.
• 원본 NeRF-T 및 D-NeRF 대비 훈련 시간이 크게 단축되었고, 더 높은 해상도(512³ 대비 256³)를 사용함에도 불구하고 TiNeuVox보다 메모리 사용량이 낮다.
• 제거 실험 결과 정규화 및 계층적 분해 전략이 필수적임을 확인: 이를 제거할 경우 성능 저하가 발생하며, 6개 평면 구조는 제안된 9개 평면 구조보다 성능이 열 劣하다.
• 단일 시야 입력에서도 고정밀 재구성을 가능하게 하여 저비용·이동성 있는 원격 존재 시스템의 실현 가능성을 입증한다.