[論文レビュー] Neural Radiance Flow for 4D View Synthesis and Video Processing

Yilun Du, Yinan Zhang+3 more|arXiv (Cornell University)|Dec 17, 2020

Advanced Vision and Imaging参考文献 78被引用数 11

ひとこと要約

NeRFlowは、単眼動画を含むスパースな視点から、光度的・運動的流れ場を同時に最適化することで、4次元空間時間的シーンダイナミクスを学習するニューラルインクリメント表現を提案する。この手法は、フォトリアルな4次元ビュー合成を実現し、最先端の性能を達成するとともに、学習された動的シーン事前分布を用いて教師なし動画スーパーレゾリューションおよびノイズ除去を可能にする。

ABSTRACT

We present a method, Neural Radiance Flow (NeRFlow),to learn a 4D spatial-temporal representation of a dynamic scene from a set of RGB images. Key to our approach is the use of a neural implicit representation that learns to capture the 3D occupancy, radiance, and dynamics of the scene. By enforcing consistency across different modalities, our representation enables multi-view rendering in diverse dynamic scenes, including water pouring, robotic interaction, and real images, outperforming state-of-the-art methods for spatial-temporal view synthesis. Our approach works even when inputs images are captured with only one camera. We further demonstrate that the learned representation can serve as an implicit scene prior, enabling video processing tasks such as image super-resolution and de-noising without any additional supervision.

研究の動機と目的

• 限られたマルチビューまたは単眼動画観測から、動的シーンの整合性のある4次元空間時間的表現を学習すること。
• 外見、密度、運動の整合性を強制することで、動的シーン再構築におけるスパースな時間的・空間的観測の課題に対処すること。
• 遮蔽や微細な運動ディテールを伴う複雑なシーンにおいて、空間的・時間的全域にわたる高精細な新規ビュー合成を可能にすること。
• 学習された表現が、スーパーレゾリューションやノイズ除去のような教師なし動画修復タスクにおける暗黙のシーン事前分布として有効に機能することを示すこと。
• 多数のカメラと静的シーンを必要とする従来のNeRFベースの手法の限界を克服し、最小限の入力からの動的シーンモデリングを可能にすること。

提案手法

• NeRFlowは、空間的位置（x,y,z）、時間（t）、視線方向（θ,φ）を組み合わせた6次元インクリメントニューラル表現を用い、放射度と密度をモデル化する。
• シーンダイナミクスをモデル化する4次元流れ場（x,y,z,t）を導入し、スパースな観測間で時間的対応を強制する。
• 微分可能なボリュメトリックレンダリングを介して、放射度場と流れ場を同時に最適化することで、勾配逆伝播によるエンド・ツー・エンドの学習を可能にする。
• 時間的整合性は、時間軸に跨る外見、密度、運動の整合性を保つことで強制され、情報がフレーム間を伝搬可能になる。
• 既知のカメラパラメータを有するマルチビューおよび単眼動画入力を活用し、3次元幾何構造と運動を再構築する。
• 学習された放射度場は動的シーン事前分布として機能し、追加の教師信号なしに動画修復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 神経インクリメント表現は、少数のカメラ、あるいは単眼動画からのみでも、整合性のある4次元シーンダイナミクスを学習できるか？
• RQ2 スパースな観測下でも、外見、密度、運動の時間的整合性をどのように強制することで、堅牢な4次元ビュー合成を実現できるか？
• RQ3 学習された4次元シーン表現は、スーパーレゾリューションやノイズ除去のような教師なし動画修復タスクに有効な事前分布として機能できるか？
• RQ4 限られた教師信号下で、NeRFlowは視覚合成および動画修復において最先端の手法と比較してどのように性能を発揮するか？
• RQ5 複雑な実環境シーンにおける曖昧な幾何構造や動的領域の処理において、この手法の限界は何か？

主な発見

• NeRFlowは、流体の流れ（注ぎ出し）、長距離ロボット運動、透明物体を含む挑戦的なシーンにおいて、4次元ビュー合成で最先端の性能を達成した。
• 注ぎ出しデータセットでは、NeRFlowはPSNR 28.46、LPIPS 0.3556、MSE 0.0014を達成し、Non-Local MeansおよびBlind Video Priorを上回った。
• 実際の単眼Ayush動画では、NeRFlowはPSNR 27.71、LPIPS 0.1372を達成し、視覚的品質と再構築精度の両面でベースラインを著しく上回った。
• スーパーレゾリューションのタスクでは、NeRFlowはPSNR 30.67、LPIPS 0.0903を達成し、バイキュービック補間およびBlind Video Priorを上回った視覚的品質を実現した。
• 本手法は、単眼動画1本で高品質な4次元シーン表現を学習可能であることを示した。
• 学習された放射度場は、古典的手法および内部学習手法と比較して優れた結果を示す、効果的な動的シーン事前分布として機能した。