[論文レビュー] Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video

Edgar Tretschk, Ayush Tewari+4 more|arXiv (Cornell University)|Dec 22, 2020

Advanced Vision and Imaging被引用数 7

ひとこと要約

NR-NeRF は、レイの曲げを用いてシーンの幾何学を標準化されたニューラルレイトランスフィールドと時間的に変化する変形フィールドに分離することにより、単一のモノクローラル動画から一般の非剛体な動的シーンの高精細再構成と新規視点合成を実現する。この手法は正確で視点一貫性のあるレンダリングを達成し、明示的な教師なし条件下でもモーションの強調や背景の安定化といった高度な編集を可能にする。

ABSTRACT

We present Non-Rigid Neural Radiance Fields (NR-NeRF), a reconstruction and novel view synthesis approach for general non-rigid dynamic scenes. Our approach takes RGB images of a dynamic scene as input (e.g., from a monocular video recording), and creates a high-quality space-time geometry and appearance representation. We show that a single handheld consumer-grade camera is sufficient to synthesize sophisticated renderings of a dynamic scene from novel virtual camera views, e.g. a `bullet-time' video effect. NR-NeRF disentangles the dynamic scene into a canonical volume and its deformation. Scene deformation is implemented as ray bending, where straight rays are deformed non-rigidly. We also propose a novel rigidity network to better constrain rigid regions of the scene, leading to more stable results. The ray bending and rigidity network are trained without explicit supervision. Our formulation enables dense correspondence estimation across views and time, and compelling video editing applications such as motion exaggeration. Our code will be open sourced.

研究の動機と目的

• 単一のモノクローラル動画のみを用いて一般の非剛体な動的シーンの自由視点レンダリングを解決すること。
• モノクローラル動画の著しい不足した制約を、時間的に変化する変形からシーンの幾何学を分離することで克服すること。
• 明示的な教師なし条件下でも高品質な新規視点合成と動画編集（例：モーションの強調、背景の安定化）を可能にすること。
• 標準化されたボリュームと変形モデリングを用いて、時間的および視点的整合性を維持すること。
• 特に困難な新規カメラトラジェクトリーや遮蔽領域に対しても、安定的でアーチファクトのないレンダリングを達成すること。

提案手法

• 動的シーンを静的MLPである標準化されたニューラルレイトランスフィールドと、時間的に非剛体にレイを曲げる変形フィールドとして表現する。
• 3次元点サンプルと画像固有の潜在コードを入力として、非剛体なレイ変位を計算するレイ曲げMLPを用いて変形をモデル化する。
• 静的領域を教師なしで保持するために、各点ごとに剛体性スコアを割り当てる剛体性ネットワークを導入する。
• 標準化ボリュームと変形フィールドを、モノクローラルRGB観測と微分可能レンダリングのみを用いて同時に学習する。
• 変形の大きさを制約し、特に遮蔽領域で局所的な形状を保持するための正則化を適用する。
• 変形スケールの操作（強調／減衰）、時間的補間、および剛体性しきい値による強制的背景安定化を通じて編集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一のモノクローラル動画で、一般の非剛体な動的シーンの高精細かつ空間時間的整合性を持つ表現を再構成できるか？
• RQ2 モノクローラル動画から、自己教師ありの方法で変形と幾何学を分離できるか？
• RQ3 剛体性に配慮した変形モデリングは、動的シーンの新規視点合成における安定性とアーチファクトの低減に寄与するか？
• RQ4 学習された表現は、モーションの強調や時間的スーパーサンプリングといった高度な動画編集タスクをどの程度サポートできるか？
• RQ5 困難な新規カメラトラジェクトリーや遮蔽の存在下でも、この手法はどの程度の性能を示すか？

主な発見

• NR-NeRF はモノクローラル動画からの高精細新規視点合成を達成し、『ブルートゥーム』効果や新規の空間時間的トラジェクトリに沿った安定したレンダリングを可能にする。
• 前景・背景のアノテーションなしに剛体性スコアを学習することで、背景のレンダリングが安定する。
• 変形オフセットのスケーリングにより、モーションの強調や減衰が成功裏に実現され、表現力豊かな動画編集が可能になる。
• 時間固有の潜在コードの線形補間により時間的スーパーサンプリングが可能になり、追加データなしでフレームレートが向上する。
• Naïve NR-NeRF や Neural Volumes といったベースライン手法よりも、困難な新規視点下での背景の安定性と鮮鋭度で優れている。
• 人間の動きや複雑な変形を含む多様な動的シーンに一般化しやすく、ほとんどの場合で最小限のアーチファクトで動作する。