[論文レビュー] Space-time Neural Irradiance Fields for Free-Viewpoint Video

Wenqi Xian, Jia‐Bin Huang+2 more|arXiv (Cornell University)|Nov 25, 2020

Advanced Vision and Imaging参考文献 79被引用数 15

ひとこと要約

本稿では、1枚の単眼動画から、動きと外観の曖昧さを解消し、自由視点レンダリングを可能にする、空間時間的ニューラル放射輝度場を提案する。動画深度推定を用いて幾何的制約を課すことにより、グローバルに一貫した動的3次元シーン表現を学習する。本手法は、時間的整合性と詳細なテクスチャ保持を実現し、実世界のスマートフォン動画において、フレームごとの処理やベースラインとなるニューラルレンダリング手法を上回る高精細な新規ビュー合成を達成する。

ABSTRACT

We present a method that learns a spatiotemporal neural irradiance field for dynamic scenes from a single video. Our learned representation enables free-viewpoint rendering of the input video. Our method builds upon recent advances in implicit representations. Learning a spatiotemporal irradiance field from a single video poses significant challenges because the video contains only one observation of the scene at any point in time. The 3D geometry of a scene can be legitimately represented in numerous ways since varying geometry (motion) can be explained with varying appearance and vice versa. We address this ambiguity by constraining the time-varying geometry of our dynamic scene representation using the scene depth estimated from video depth estimation methods, aggregating contents from individual frames into a single global representation. We provide an extensive quantitative evaluation and demonstrate compelling free-viewpoint rendering results.

研究の動機と目的

• マルチカメラや専用ハードウェアを用いずに、1枚の自然に撮影された動画から自由視点動画レンダリングを可能にすること。
• 1つの時間ステップごとに1つの視点しか得られない状況において、動きと外観の変化の間にある本質的な曖昧さを、単眼動画深度推定を用いた幾何的監視によって解消すること。
• 時間的フレイクファイアーや不透明領域のアーチファクトが一般的なフレームごとのレンダリング手法とは異なり、グローバルに一貫した時空間的表現を構築すること。
• 観測されていない領域における時間的伝搬により、色とボリューム密度を伝搬させることで、レンダリングの品質と整合性を向上させること。
• 高視覚的精細度と3次元深度認識を備えた実世界のスマートフォン動画において、説得力ある自由視点レンダリングを実証すること。

提案手法

• 本手法は、空間時間的座標 (x, y, z, t) を色と体積密度へマッピングする連続関数として、シーンのニューラルインクリメント表現を学習する。
• フレームごとの深度マップを単眼動画深度推定から得て、時間的に変化するシーンの幾何を制約し、動きによる外観変化を明確に分離する。
• 監視が得られない不透明領域における時間的伝搬のために、静的シーン損失とサンプリング戦略を導入する。
• 色再構成、深度監視、静的シーン損失、空領域損失を組み合わせた複合損失関数を用いてモデルを訓練し、シーンフロー整合性損失をオプションで追加する。
• 標準的なボリュームレンダリングにより、インクリメントフィールドをレンダリングし、任意の視点と時間ステップで高品質な合成を実現する。
• 本手法は時間ステップの補間や外挿を行わず、グローバルなインクリメント表現を用いて、観測済みの時間点でのみレンダリングを行う。

Figure 3 : Scene sampling. We measure the Empty-space loss on 3D positions until hitting the estimated scene depth (green). We use all the samples along the ray (green and yellow) to compute the Depth and Color reconstruction loss . For Static loss , we sample the scene from the union of the space s

実験結果

リサーチクエスチョン

• RQ1 マルチビューまたはマルチカメラデータが存在しない状況でも、1枚の単眼動画から、グローバルに一貫した自由視点レンダリングが可能な動的シーン表現を学習できるか？
• RQ2 1つの時間ステップにつき1つの視点しか得られない状況で、動きと外観の曖昧さをどのように解消できるか？
• RQ3 動的シーンのニューラルインクリメント表現において、動画深度推定は幾何の安定化とレンダリング整合性の向上にどのような役割を果たすか？
• RQ4 フレームごとのワープや後処理に依存せずに、新規ビューにおける不透明領域を効果的に埋め合わせる方法は何か？
• RQ5 色と密度の時間的伝搬は、自由視点動画合成におけるレンダリング品質の向上とフレイクファイアーやノイズの低減に、どの程度寄与するか？

主な発見

• 提案手法は、メッシュベースレンダリングや NeRF-T といったベースライン手法に比べ、不透明領域の処理や時間的整合性の面で優れた自由視点レンダリング品質を達成している。
• 深度監視を組み込むことで、すべての指標で一貫して性能向上が見られ、特に不透明領域や複雑な動きを示すシーンで顕著な向上が得られた。
• 静的シーン損失と時間的伝搬戦略により、フレイクファイアーや視覚的品質の低下が顕著に低減されたが、シーンフローロスは定量的指標では顕著な向上を示さなかった。
• Sintel の合成データセットでは、モデル4（Model-4）が実世界の動画において最良の視覚的結果を達成したが、一部の指標ではモデル2がわずかに優れていた。
• 本手法は、挑戦的なスマートフォンで撮影された動画から、高精細で時間的に整合性のある新規ビューを効果的にレンダリングでき、動きの詳細と3次元テクスチャの精細度を保持した。

Figure 4 : Static scene loss. Our static scene loss addresses the regions that are not constrained by the color and depth reconstruction loss, which handles only visible surfaces in the input frames (a). We render two frames at $t_{1}=9$ and $t_{2}=90$ from the viewpoint of $t=40$ . The camera has p