[논문 리뷰] Neural 3D Video Synthesis

Tianye Li|arXiv (Cornell University)|2024. 01. 01.

Advanced Vision and Imaging참고 문헌 74인용 수 40

한 줄 요약

이 논문은 다중 시야 영상에서 압축된 잠재 코드를 사용하여 동적 3D 시점을 시간에 따라 조절하는 신경 레이디언스 필드를 제안한다. 이는 고해상도, 고정밀도의 새로운 시점 합성을 가능하게 하며, 계층적 훈련 체계와 시간적 변동 기반 중요도 샘플링을 도입함으로써 빠른 수렴과 10초 분량의 30 FPS 영상에 대해 28MB 모델 크기를 달성한다. 이는 품질과 효율성 면에서 이전 연구를 능가한다.

ABSTRACT

We propose a novel approach for 3D video synthesis that is able to represent multi-view video recordings of a dynamic real-world scene in a compact, yet expressive representation that enables high-quality view synthesis and motion interpolation. Our approach takes the high quality and compactness of static neural radiance fields in a new direction: to a model-free, dynamic setting. At the core of our approach is a novel time-conditioned neural radiance fields that represents scene dynamics using a set of compact latent codes. To exploit the fact that changes between adjacent frames of a video are typically small and locally consistent, we propose two novel strategies for efficient training of our neural network: 1) An efficient hierarchical training scheme, and 2) an importance sampling strategy that selects the next rays for training based on the temporal variation of the input videos. In combination, these two strategies significantly boost the training speed, lead to fast convergence of the training process, and enable high quality results. Our learned representation is highly compact and able to represent a 10 second 30 FPS multi-view video recording by 18 cameras with a model size of just 28MB. We demonstrate that our method can render high-fidelity wide-angle novel views at over 1K resolution, even for highly complex and dynamic scenes. We perform an extensive qualitative and quantitative evaluation that shows that our approach outperforms the current state of the art. We include additional video and information at: this https URL

연구 동기 및 목표

• 다중 시야 영상 기록으로부터 고품질의, 시점 일致성을 확보한 동적 3D 시점의 합성을 가능하게 하기 위해.
• 명시적인 3D 기하학 또는 운동 모델에 의존하지 않고도, 복잡한 시점 역동성을 압축된 신경 표현으로 표현하기 위해.
• 시간적 일관성과 적응형 샘플링을 활용하여 동적 신경 레이디언스 필드의 훈련을 가속화하고 수렴 속도를 향상시키기 위해.
• 복잡하고 빠르게 움직이는 시점에 대해 1K 해상도에서 고정밀도 신규 렌더링을 달성하기 위해.
• 정성적 및 정량적 평가에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 이 방법은 압축된 잠재 코드를 사용하여 시점 역동성을 인코딩하는 시간에 따라 조절되는 신경 레이디언스 필드를 도입한다.
• 공간적 및 시간적 차원에서 네트워크를 효율적으로 최적화하기 위해 계층적 훈련 체계를 활용한다.
• 입력 영상의 시간적 변동에 기반하여 훈련을 위한 레이를 선택하는 중요도 샘플링 전략을 적용한다. 이는 높은 동적 변화를 보이는 영역에 집중한다.
• 18대의 카메라에서 확보한 다중 시야 영상에 대해 엔드 투 엔드로 훈련하여 공간과 시간에 걸쳐 복사 및 부피 밀도를 예측하도록 학습한다.
• 표현 방식은 매우 압축되어 있어 10초 분량의 30 FPS 영상에 대해 28MB의 모델 크기를 달성한다.
• 프레임워크는 복잡하고 동적인 시점에서도 고해상도(1K)에서 고정밀도 렌더링을 가능하게 하며, 높은 품질을 유지한다.

실험 결과

연구 질문

• RQ1 모델 기반 접근 없이도 신경 표현이 다중 시야 영상에서 동적 3D 시점을 효과적으로 포착하고 합성할 수 있는가?
• RQ2 동적 신경 레이디언스 필드의 훈련 효율성과 수렴 속도를 어떻게 향상시킬 수 있는가?
• RQ3 명시적인 운동 모델 없이도 압축된 잠재 코드가 복잡한 시점 역동성을 얼마나 잘 표현할 수 있는가?
• RQ4 높은 동적 시점에서도 1K 해상도에서 고정밀도 신규 렌더링을 유지하면서 일반화 성능을 확보할 수 있는가?
• RQ5 정성적 및 정량적 지표에서 제안된 방법은 최신 기술 수준의 접근법과 비교해 어떻게 성과를 내는가?

주요 결과

• 18대의 카메라에서 촬영한 다중 시야 영상 시퀀스에 대해 10초 분량의 30 FPS 영상에 대해 단지 28MB의 모델 크기를 달성한다.
• 계층적 훈련 체계와 시간적 중요도 샘플링 덕분에 이전 방법보다 훨씬 더 신속하게 수렴하는 훈련 과정을 경험한다.
• 복잡하고 급격히 변화하는 시점에 대해서도 1K 해상도를 초과하는 고정밀도 렌더링을 가능하게 한다.
• 광범위한 평가 결과, 정성적 및 정량적 지표에서 현재 최신 기술 수준을 능가하는 성능을 입증한다.
• 명시적인 운동 모델 없이도 넓은 시야각과 복잡한 역동성에 대해 강력한 일반화 성능을 보인다.
• 시간적 변동 기반 중요도 샘플링 전략은 높은 동적 콘텐츠를 포함한 영역에 집중함으로써 훈련 효율성을 향상시킨다.