[論文レビュー] PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification

Xuan Li, Yi-Ling Qiao+5 more|arXiv (Cornell University)|Mar 9, 2023

Human Pose and Action Recognition被引用数 7

ひとこと要約

PAC-NeRFは、物体の幾何構造やトポロジーに関する事前仮定なしに、複数視点動画から未知の幾何構造および物理的パラメータ（弾性体、スライム、砂、流体など）を同時に推定する物理的補強型ニューラルレイトランスフィールドを提案する。連続体力学の保存則をハイブリッド・オイラー的・ラグランジュ的表現によって強制することで、微分可能な物理シミュレーションとエンド・トゥ・エンド最適化を可能にし、ベースライン比最大2桁の向上を達成する、最先端のシステム同定性能を実現する。

ABSTRACT

Existing approaches to system identification (estimating the physical parameters of an object) from videos assume known object geometries. This precludes their applicability in a vast majority of scenes where object geometries are complex or unknown. In this work, we aim to identify parameters characterizing a physical system from a set of multi-view videos without any assumption on object geometry or topology. To this end, we propose "Physics Augmented Continuum Neural Radiance Fields" (PAC-NeRF), to estimate both the unknown geometry and physical parameters of highly dynamic objects from multi-view videos. We design PAC-NeRF to only ever produce physically plausible states by enforcing the neural radiance field to follow the conservation laws of continuum mechanics. For this, we design a hybrid Eulerian-Lagrangian representation of the neural radiance field, i.e., we use the Eulerian grid representation for NeRF density and color fields, while advecting the neural radiance fields via Lagrangian particles. This hybrid Eulerian-Lagrangian representation seamlessly blends efficient neural rendering with the material point method (MPM) for robust differentiable physics simulation. We validate the effectiveness of our proposed framework on geometry and physical parameter estimation over a vast range of materials, including elastic bodies, plasticine, sand, Newtonian and non-Newtonian fluids, and demonstrate significant performance gain on most tasks.

研究の動機と目的

• 物体の幾何構造やトポロジーに関する事前知識なしに、動的シーンの物理的パラメータのシステム同定を可能にすること。
• 既存の動画ベースシステム同定手法が、既知の幾何構造やレンダリング設定を必要としているという限界を克服すること。
• 微分可能な物理シミュレーションとニューラルレイトランスフィールドを統合し、幾何構造と物理的性質を同時に推定すること。
• 弾性固体、流体、粉粒体、スライムなどの複雑な材料を扱える、ロバストでデータ効率の良いフレームワークを開発すること。
• 複数視点動画からの2次元画像空間の監視信号のみを用いて、高精度な再構成と物理的パラメータ推定を達成すること。

提案手法

• PAC-NeRFはハイブリッド・オイラー的・ラグランジュ的表現を導入する。NeRFの密度および色フィールドにはオイラー的グリッドを用い、動的シミュレーションのためにこれらのフィールドをラグランジュ的粒子によって輸送する。
• NeRFフィールドの材料微分がゼロになるように制約を課し、連続体保存則 ∂F/∂t + v·∇F = 0 を満たすようにする。
• 物質点法（MPM）をNeRFフレームワークに統合し、大変形および衝突を含むロバストな微分可能なシミュレーションを可能にする。
• パイプライン全体が微分可能であり、2次元ピクセルレベルの再構成損失を用いて、幾何構造および物理的パラメータの勾配ベース最適化が可能である。
• ボクセル化された、GPU最適化された実装により、推論が高速化され、複雑な動的シーンにおける高性能なシミュレーションが可能になる。
• MPMフレームワーク内での物性挙動のモデル化により、弾性固体、スライム、砂、ニュートン性／非ニュートン性流体を含む広範な材料を扱える。

Figure 1: PAC-NeRF uses both Lagrangian (particle; material-space) and Eulerian (grid; world-space) representations for an accurate yet tractable computational model of continuum materials. P2G and G2P denote particle-to-grid and grid-to-particle transforms, respectively. Renderable quantities (volu

実験結果

リサーチクエスチョン

• RQ1 既知の物体の幾何構造やトポロジーを仮定せずに、複数視点動画から動的材料の幾何構造と物理的パラメータを推定できるか？
• RQ2 エンド・トゥ・エンド最適化におけるシステム同定の文脈で、ニューラルレイトランスフィールドに物理的妥当性をどのように強制できるか？
• RQ3 純粋にビジョンベースの学習と比較して、微分可能な物理シミュレータは、動画ベースシステム同定におけるデータ効率および一般化性能を向上させられるか？
• RQ4 ハイブリッド・オイラー的・ラグランジュ的表現は、純粋にオイラー的またはラグランジュ的表現よりも、複雑な材料挙動のシミュレーションで優れているか？
• RQ5 微分可能レンダリングによる2次元画像空間の監視信号は、オракル点群からの3次元チェンファーディスタンス監視信号よりも、物理的パラメータ推定で優れた性能を示せるか？

主な発見

• PAC-NeRFは17の物理的性質推定カテゴリーのうち14で最高性能を達成し、すべてのベースラインを大きく上回る。
• 物理的パラメータ推定における平均絶対誤差を、最先端のアプローチと比較して最大2桁の改善を達成した。
• 流体および粉粒体シミュレーションにおいて、FEMベースのベースラインが数値不安定性により失敗する大変形領域でも、PAC-NeRFは安定性と精度を維持した。
• 2次元ピクセルレベルの再構成損失は、オラクル点群からの3次元チェンファーディスタンス監視信号を上回る性能を示し、画像空間の信号が最適化効率に優れていることを示した。
• 未知の幾何構造やレンダリング設定に対してもロバストであるため、特権的な幾何的またはキャリブレーション情報なしにシステム同定が可能である。
• ハイブリッド・オイラー的・ラグランジュ的設計により、純粋にMLPベースのNeRFやFEMベースのシミュレータと比較して、推論が高速かつ衝突・大変形の処理が優れている。

Figure 2: Our surface regularizer improves reconstruction quality, by producing a tight-fit shape to the segmentation mask.