[논문 리뷰] Mixed Neural Voxels for Fast Multi-view Video Synthesis

Feng Wang, Sinan Tan외 4명|arXiv (Cornell University)|2022. 12. 01.

Advanced Vision and Imaging인용 수 4

한 줄 요약

MixVoxels는 정적 및 동적 영역을 별도의 네트워크로 처리하는 혼합 정적-동적 복소체 표현을 제안하여 300프레임 영상의 경우 15분 이내로 학습하고 1K 해상도에서 37fps 렲링을 구현한다. 다중 시간 단계 감독을 효율적으로 구현하기 위해 내적 시간 쿼리 기법을 사용하고, 정적-동적 복소체를 구분하기 위해 변동성 필드를 도입하여 암묵적 방법 대비 5000배 빠른 학습과 최신 기술 수준(SOTA)의 PSNR 성능을 달성한다.

ABSTRACT

Synthesizing high-fidelity videos from real-world multi-view input is challenging because of the complexities of real-world environments and highly dynamic motions. Previous works based on neural radiance fields have demonstrated high-quality reconstructions of dynamic scenes. However, training such models on real-world scenes is time-consuming, usually taking days or weeks. In this paper, we present a novel method named MixVoxels to better represent the dynamic scenes with fast training speed and competitive rendering qualities. The proposed MixVoxels represents the 4D dynamic scenes as a mixture of static and dynamic voxels and processes them with different networks. In this way, the computation of the required modalities for static voxels can be processed by a lightweight model, which essentially reduces the amount of computation, especially for many daily dynamic scenes dominated by the static background. To separate the two kinds of voxels, we propose a novel variation field to estimate the temporal variance of each voxel. For the dynamic voxels, we design an inner-product time query method to efficiently query multiple time steps, which is essential to recover the high-dynamic motions. As a result, with 15 minutes of training for dynamic scenes with inputs of 300-frame videos, MixVoxels achieves better PSNR than previous methods. Codes and trained models are available at https://github.com/fengres/mixvoxels

연구 동기 및 목표

• 실세계 동적 영상에 대한 신경 레이디언스 필드의 높은 계산 비용과 느린 학습 문제를 해결하기 위해.
• 정적 배경에서의 부과적 계산을 줄이며 고운동량 움직임에 대한 렌더링 품질을 향상시키기 위해.
• 복잡한 실세계 환경에서의 다중 시점 영상 합성에 대해 빠르고 실용적인 학습 및 추론을 가능하게 하기 위해.
• 정적 및 동적 구성 요소를 분리함으로써 복잡한 중요도 샘플링 전략에 의존하지 않도록 하기 위해.

제안 방법

• MixVoxels는 정적 및 동적 복소체의 혼합으로 4D 장면을 표현하며, 정적 영역의 계산을 줄이기 위해 별도의 신경망을 사용한다.
• 변동성 필드는 각 복소체의 시간적 분산을 추정하여 정적 또는 동적 복소체로 분류함으로써 구성 요소의 공간적 분리를 가능하게 한다.
• 내적 시간 쿼리 메커니즘은 동시에 다중 시간 단계를 효율적으로 쿼리하여 고운동량 물체의 시간 모델링을 향상시킨다.
• 시간에 걸쳐 공유된 가중치를 갖는 좌표 기반 신경망을 사용하여 빠른 추론 및 학습을 가능하게 한다.
• 정적 복소체에는 경량 모델을 적용하고 동적 모델은 운동이 일어나는 영역에 집중함으로써 학습 속도를 향상시킨다.
• 정적-동적 분리 전략을 활용함으로써 복잡한 레이 샘플링 전략을 피하고 운동의 선명함을 향상시킨다.

Figure 1: Our method enables rapid reconstruction of 4D dynamic scenes. We visualize the rendering results with different training schedules. With only 15 minutes of training, our approach achieves comparable PSNRs to other methods. Increasing the training time further enhances the ability to recove

실험 결과

연구 질문

• RQ1 혼합 정적-동적 복소체 표현이 렌더링 품질을 훼손하지 않으면서도 학습 시간을 크게 줄일 수 있는가?
• RQ2 정적 및 동적 구성 요소를 분리함으로써 모델이 날카로운 운동 세부 정보를 얼마나 잘 포착할 수 있는가?
• RQ3 내적 시간 쿼리와 같은 효율적인 시간 쿼리 메커니즘이 연결 또는 푸리에 기반 방법에 비해 고운동량 영상에서 성능을 향상시킬 수 있는가?
• RQ4 변동성 필드가 실세계 영상에서 정적-동적 복소체 분류를 얼마나 정확하게 가능하게 하는가?

주요 결과

• MixVoxels는 0.6시간의 학습 후 PSNR 29.47을 달성하여, 훨씬 더 오랜 기간 학습된 전반적 동적 기준 모델(28.36 PSNR)을 초월한다.
• 모델은 1K 해상도에서 37fps로 신규 시점 영상을 렌더링하여 실시간 상호작용 애플리케이션을 가능하게 한다.
• 단지 15분의 학습만으로도 이전 방법이 훨씬 더 오랜 시간 동안 학습한 결과와 유사한 PSNR 성능을 달성한다.
• 내적 시간 쿼리 방법은 학습 시간을 40분(연결 기반 방법 대비 58분)으로 줄이고, 연결 기반 방법 대비 PSNR를 0.52 향상시킨다.
• 절단 실험 결과 혼합 복소체 접근법은 PSNR를 1.11 향상시키고 DSSIM을 0.010 감소시켜 구성 요소 분리의 유용성을 확인한다.
• 암묵적 동적 장면 표현에 비해 학습 시간을 5000배 단축시키면서도 최신 기술 수준 성능을 유지하거나 초월한다.

Figure 2: Overview of our method. Given a ray, we first sample points, and split them into static and dynamic ones using the variation field. After that, we feed these points to the corresponding branches and query the required properties. Then we merge the static output and dynamic output for rende