[論文レビュー] Mixed Neural Voxels for Fast Multi-view Video Synthesis

Feng Wang, Sinan Tan+4 more|arXiv (Cornell University)|Dec 1, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

MixVoxelsは、静的領域と動的領域のための別々のネットワークを備えた、静的・動的ボクセルの混合表現を提案する。これにより、300フレームの動画に対して15分間の学習が可能になり、1K解像度で37fpsのレンダリングが実現される。複数時間ステップの監視を効率的に行うために内積時間クエリを採用し、静的・動的ボクセルを区別するためのバリエーションフィールドを導入することで、従来手法に比べ5000倍高速な学習を達成しながらSOTAのPSNRを実現した。

ABSTRACT

Synthesizing high-fidelity videos from real-world multi-view input is challenging because of the complexities of real-world environments and highly dynamic motions. Previous works based on neural radiance fields have demonstrated high-quality reconstructions of dynamic scenes. However, training such models on real-world scenes is time-consuming, usually taking days or weeks. In this paper, we present a novel method named MixVoxels to better represent the dynamic scenes with fast training speed and competitive rendering qualities. The proposed MixVoxels represents the 4D dynamic scenes as a mixture of static and dynamic voxels and processes them with different networks. In this way, the computation of the required modalities for static voxels can be processed by a lightweight model, which essentially reduces the amount of computation, especially for many daily dynamic scenes dominated by the static background. To separate the two kinds of voxels, we propose a novel variation field to estimate the temporal variance of each voxel. For the dynamic voxels, we design an inner-product time query method to efficiently query multiple time steps, which is essential to recover the high-dynamic motions. As a result, with 15 minutes of training for dynamic scenes with inputs of 300-frame videos, MixVoxels achieves better PSNR than previous methods. Codes and trained models are available at https://github.com/fengres/mixvoxels

研究の動機と目的

• 現実世界の動的シーンにおけるニューラルレイトランスフィールドの高い計算コストと遅い学習を解決すること。
• 高動的運動のレンダリング品質を向上させるとともに、静的背景における余分な計算を削減すること。
• 複雑な現実世界環境におけるマルチビュー動画合成のための、高速で実用的な学習と推論を可能にすること。
• 静的・動的コンポーネントを分離することで、複雑な重要度サンプリングに依存しないこと。

提案手法

• MixVoxelsは、静的・動的ボクセルの混合として4Dシーンを表現し、静的領域の計算を削減するための別々のニューラルネットワークを用いる。
• バリエーションフィールドが各ボクセルごとの時間的分散を推定し、静的または動的として分類することで、コンポーネントの空間的分離を実現する。
• 内積時間クエリ機構により、複数時間ステップを同時に効率的に照会し、高動的物体の時間的モデリングを向上させる。
• 時間軸に跨る共有重みを持つ座標ベースのニューラルネットワークを用いることで、高速な推論と学習を実現する。
• 静的ボクセルには軽量モデルを適用し、動的領域に焦点を当てることで、学習を高速化する。
• 静的・動的分割を活用することで、複雑なレイサンプリング戦略を避けて、動きのシャープネスを向上させる。

Figure 1: Our method enables rapid reconstruction of 4D dynamic scenes. We visualize the rendering results with different training schedules. With only 15 minutes of training, our approach achieves comparable PSNRs to other methods. Increasing the training time further enhances the ability to recove

実験結果

リサーチクエスチョン

• RQ1 静的・動的ボクセルの混合表現は、レンダリング品質を損なわずに学習時間を著しく短縮できるか？
• RQ2 静的・動的コンポーネントを分離することで、モデルのシャープな動きの詳細を捉える能力にどのような影響を与えるか？
• RQ3 内積クエリのような効率的な時間クエリ機構は、連結やフーリエベースの手法と比較して、高動的シーンでの性能を向上させられるか？
• RQ4 バリエーションフィールドは、現実世界のシーンにおいて静的・動的ボクセルの分類をどれほど正確に可能にするか？

主な発見

• MixVoxelsは0.6時間の学習後、PSNR 29.47を達成し、より長い学習が要るフル動的ベースライン（PSNR 28.36）を上回った。
• 本手法は1K解像度で37fpsの新視点動画をレンダリングでき、リアルタイムインタラクティブアプリケーションを可能にする。
• わずか15分間の学習で、従来手法がはるかに長い期間を要する学習と同等のPSNRを達成した。
• 内積時間クエリ法は、連結法と比較して学習時間を40分（連結法は58分）に短縮し、PSNRを0.52ポイント向上させた。
• アブレーション実験では、混合ボクセルアプローチがPSNRを1.11ポイント向上させ、DSSIMを0.010低下させた。これにより、コンポーネント分離の有効性が確認された。
• 従来の暗黙的動的シーン表現と比較して、学習時間を5000倍短縮しながら、SOTA性能を維持または上回った。

Figure 2: Overview of our method. Given a ray, we first sample points, and split them into static and dynamic ones using the variation field. After that, we feed these points to the corresponding branches and query the required properties. Then we merge the static output and dynamic output for rende