[論文レビュー] Neural 3D Video Synthesis

Tianye Li|arXiv (Cornell University)|Jan 1, 2024

Advanced Vision and Imaging参考文献 74被引用数 40

ひとこと要約

本論文は、18台のカメラから得られるマルチビュー動画を用いて、コン act な潜在コードを用いて動的3Dシーンを表現する時間に依存するニューラルレイトランスフィールドを提案する。この手法により、高精細で高解像度の新規ビュー合成が可能となる。階層的なトレーニングスキームと時間的変動に基づく重要度サンプリングを導入することで、高速な収束と10秒間の30 FPS動画に対して28MBのモデルサイズを達成し、品質と効率の両面で先行研究を上回る性能を発揮する。

ABSTRACT

We propose a novel approach for 3D video synthesis that is able to represent multi-view video recordings of a dynamic real-world scene in a compact, yet expressive representation that enables high-quality view synthesis and motion interpolation. Our approach takes the high quality and compactness of static neural radiance fields in a new direction: to a model-free, dynamic setting. At the core of our approach is a novel time-conditioned neural radiance fields that represents scene dynamics using a set of compact latent codes. To exploit the fact that changes between adjacent frames of a video are typically small and locally consistent, we propose two novel strategies for efficient training of our neural network: 1) An efficient hierarchical training scheme, and 2) an importance sampling strategy that selects the next rays for training based on the temporal variation of the input videos. In combination, these two strategies significantly boost the training speed, lead to fast convergence of the training process, and enable high quality results. Our learned representation is highly compact and able to represent a 10 second 30 FPS multi-view video recording by 18 cameras with a model size of just 28MB. We demonstrate that our method can render high-fidelity wide-angle novel views at over 1K resolution, even for highly complex and dynamic scenes. We perform an extensive qualitative and quantitative evaluation that shows that our approach outperforms the current state of the art. We include additional video and information at: this https URL

研究の動機と目的

• マルチビュー動画記録から高品質でビュー一貫性のある動的3Dシーンの合成を可能にすること。
• 明示的な3Dジオメトリやモーションモデルに依存せずに、複雑なシーンのダイナミクスをコンパクトなニューラル表現で表現すること。
• 時間的整合性と適応的サンプリングを活用して、動的ニューラルレイトランスフィールドのトレーニングを加速し、収束を改善すること。
• 複雑で高速に動くシーンに対しても、1K解像度で高精細な新規ビューレンダリングを達成すること。
• 定性的および定量的評価の両面で、最先端の性能を示すこと。

提案手法

• 本手法は、コンパクトな潜在コードを用いてシーンのダイナミクスを符号化する時間に依存するニューラルレイトランスフィールドを導入する。
• 空間的および時間的次元にわたるネットワークの効率的最適化を実現するため、階層的なトレーニングスキームを採用する。
• 入力動画の時間的変動に基づいて、トレーニング用のレイを選択する重要度サンプリング戦略を採用し、ダイナミックな変化が大きい領域に注目する。
• 18台のカメラから得られるマルチビュー動画をエンドツーエンドでトレーニングし、空間的・時間的次元で放射度とボリューム密度を予測するように学習する。
• 表現は非常にコンパクトであり、10秒間の30 FPS動画に対して28MBのモデルサイズを達成している。
• フレームワークは、複雑で動的なシーンであっても、高解像度（1K）での高精細な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーのニューラル表現は、マルチビュー動画から効果的に動的3Dシーンを捉え、合成できるか？
• RQ2 動的ニューラルレイトランスフィールドのトレーニング効率と収束速度をどのように向上させられるか？
• RQ3 明示的なモーションモデリングなしに、コンパクトな潜在コードが複雑なシーンのダイナミクスをどの程度正確に表現できるか？
• RQ4 本手法は、高動的なシーンに対しても、1K解像度で高精細な新規ビュー合成を維持できるか？
• RQ5 定性的および定量的指標において、本手法は最先端のアプローチと比較してどの程度優れているか？

主な発見

• 18台のカメラから記録された10秒間の30 FPSマルチビュー動画シーケンスに対して、モデルサイズがわずか28MBにまで圧縮された。
• 階層的スキームと時間的重要度サンプリングのおかげで、先行手法よりも著しく高速に収束するトレーニングプロセスが実現された。
• 時間的変動に基づく重要度サンプリング戦略により、ダイナミックコンテンツが豊富な領域に集中してトレーニングが行われ、効率が向上した。
• 広範囲の視野や複雑なダイナミクスに対しても、明示的なモーションモデリングなしに優れた一般化性能を示した。
• 複雑で急速に変化するシーンに対しても、1K解像度で高精細な新規ビューレンダリングが可能である。
• 広範な評価により、定性的および定量的指標の両面で、現在の最先端技術を上回る優れた性能が確認された。