[論文レビュー] NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos

Yi-Ling Qiao, Alexander Gao+1 more|arXiv (Cornell University)|Oct 22, 2022

Model Reduction and Neural Networks被引用数 8

ひとこと要約

NeuPhysicsは、静的幾何構造を表す時間不変の符号付き距離関数（SDF）と、運動を表す時間条件付き変形場という分離されたニューラルフィールド表現を用いて、単眼動画から編集可能な3D幾何構造と物理的性質を再構築する手法を提案する。ニューラルフィールドと六面体メッシュの間で双方向変換を可能にすることで、インタラクティブな編集と微分可能な物理シミュレーションが可能となり、サイクル整合性損失を用いたエンド・トゥ・エンド最適化により、メッシュおよび動画再構築において最先端の結果を達成した。

ABSTRACT

We present a method for learning 3D geometry and physics parameters of a dynamic scene from only a monocular RGB video input. To decouple the learning of underlying scene geometry from dynamic motion, we represent the scene as a time-invariant signed distance function (SDF) which serves as a reference frame, along with a time-conditioned deformation field. We further bridge this neural geometry representation with a differentiable physics simulator by designing a two-way conversion between the neural field and its corresponding hexahedral mesh, enabling us to estimate physics parameters from the source video by minimizing a cycle consistency loss. Our method also allows a user to interactively edit 3D objects from the source video by modifying the recovered hexahedral mesh, and propagating the operation back to the neural field representation. Experiments show that our method achieves superior mesh and video reconstruction of dynamic scenes compared to competing Neural Field approaches, and we provide extensive examples which demonstrate its ability to extract useful 3D representations from videos captured with consumer-grade cameras.

研究の動機と目的

• 単一の単眼RGB動画から3D幾何構造と物理的パラメータをエンド・トゥ・エンドで学習すること。
• 単眼3D再構築の不十分な制約を、静的幾何構造と動的運動に分離することで解決すること。
• 二方向のメッシュ-フィールド変換パイプラインを通じて、ニューラル暗黙的表現と微分可能な物理シミュレーションを統合すること。
• 明示的な六面体メッシュを編集することで、その変更をニューラルフィールドに再帰的に反映させることで、3Dシーンのインタラクティブ編集を可能にすること。
• 手動による3Dモデル初期化に依存しないように、動画入力から幾何構造と物理的パラメータを同時に最適化すること。

提案手法

• シーンは、幾何構造を表す時間不変の符号付き距離関数（SDF）と、外観、剛性、時間条件付き運動変位を別々に表すニューラルフィールドで表現される。
• 運動は、時間に依存する変形場によってモデル化され、フレーム内の3次元座標を基準フレームの位置にマッピングすることで、時間経過にわたる点対応を可能にする。
• 暗黙的ニューラルフィールドと明示的六面体メッシュの間で双方向変換を確立し、ユーザーがメッシュを編集し、その変更をニューラルフィールドに反映できるようにする。
• 物理的パラメータは、微分可能な物理シミュレータと運動フィールドの間のサイクル整合性損失を最小化することで最適化され、シミュレートされた動的挙動と観測された挙動が整合するように保証される。
• 剛性マップは動的フォアグラウンドオブジェクトとバックグラウンドを分離するために使用され、必要に応じてユーザー定義のボクシングボックスを追加することでフォアグラウンド抽出を向上させることができる。
• 微分可能なレンダリング（NeuS）と物理シミュレーション（微分可能エンジン）を統合し、幾何構造、外観、動的挙動の共同最適化によるエンド・トゥ・エンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単眼動画のみを用いて、正確な幾何構造と物理的に妥当な挙動を持つ完全で編集可能な3Dシーンを再構築できるか？
• RQ2 ニューラルフィールドを静的幾何構造と動的運動に効果的に分離することで、再構築の安定性と品質を向上させられるか？
• RQ3 手動による3Dモデル初期化を必要とせずに、微分可能な物理シミュレータをニューラル暗黙的表現と統合できる範囲はどの程度か？
• RQ4 二方向のメッシュ-フィールド変換パイプラインにより、明示的なメッシュ操作を通じてニューラルフィールドのインタラクティブ編集が可能になるか？
• RQ5 サイクル整合性に基づく物理最適化は、直接的なチェンバーディスタンス最小化と比較して、速度と精度の点で優れているか？

主な発見

• 提案されたサイクル整合性損失により、最適化時間はチェンバーディスタンス法を用いた場合の約115秒から約67秒に短縮され、再構築品質とシミュレーション品質は同等を維持した。
• 本手法は、競合するニューラルフィールドアプローチと比較して、定量的および定性的に優れたメッシュおよび動画再構築品質を達成した。
• 0.2のしきい値を用いた剛性マップは、フォアグラウンドとバックグラウンドの分離を安定して実現でき、必要に応じて手動によるボクシングボックスを追加することで分離精度をさらに向上させた。
• 運動の大きさだけでは、周期的運動における微小な変位のため、動的オブジェクト検出に不十分であり、剛性マップの方がより信頼性の高い基準であることがわかった。
• 二方向のメッシュ-フィールド変換により、オブジェクトの追加・削除・変形といった3Dシーンの直接的操作が可能になり、ニューラルフィールド表現の整合性が保たれた。
• 本フレームワークは、生の単眼動画から物理ベースのアニメーションとシミュレーションを成功裏に実現し、デジタルツインやインタラクティブ3Dコンテンツ作成の分野における応用可能性を示した。