[論文レビュー] Learning Multi-Object Dynamics with Compositional Neural Radiance Fields

Danny Driess, Zhiao Huang+3 more|arXiv (Cornell University)|Feb 24, 2022

Human Pose and Action Recognition被引用数 19

ひとこと要約

本稿では、マルチビュー画像から複数オブジェクトのシーンダイナミクスを学習するための構成的でオブジェクト中心のダイナミクスモデルを提案する。このモデルはNeural Radiance Fields（NeRF）とグラフニューラルネットワーク（GNN）を用い、各オブジェクトを暗黙のエンコーダーを介して3次元に注意を向ける潜在ベクトルに符号化し、合成的NeRFレンダリングによるシーン再構築を実現する。この手法により、安定的で長期的なダイナミクス予測が可能となり、訓練時に見られなかったオブジェクト数のシーンへの一般化が達成され、剛体および変形可能なオブジェクトを含むシミュレーションおよび実世界の実験において、非構成的ベースラインを上回る性能を発揮する。

ABSTRACT

We present a method to learn compositional multi-object dynamics models from image observations based on implicit object encoders, Neural Radiance Fields (NeRFs), and graph neural networks. NeRFs have become a popular choice for representing scenes due to their strong 3D prior. However, most NeRF approaches are trained on a single scene, representing the whole scene with a global model, making generalization to novel scenes, containing different numbers of objects, challenging. Instead, we present a compositional, object-centric auto-encoder framework that maps multiple views of the scene to a set of latent vectors representing each object separately. The latent vectors parameterize individual NeRFs from which the scene can be reconstructed. Based on those latent vectors, we train a graph neural network dynamics model in the latent space to achieve compositionality for dynamics prediction. A key feature of our approach is that the latent vectors are forced to encode 3D information through the NeRF decoder, which enables us to incorporate structural priors in learning the dynamics models, making long-term predictions more stable compared to several baselines. Simulated and real world experiments show that our method can model and learn the dynamics of compositional scenes including rigid and deformable objects. Video: https://dannydriess.github.io/compnerfdyn/

研究の動機と目的

• 訓練時に観測されたオブジェクト数とは異なる数のオブジェクトを含むシーンに一般化できる、画像観測からの構成的で複数オブジェクトのダイナミクスを学習する課題に対処すること。
• オブジェクト固有の潜在ベクトルのデコーダーとしてNeRFを用いることで、潜在ダイナミクスモデルに強い3次元のインダクティブバイアスを組み込むこと。
• NeRFベースの再構築による3次元構造の強制と、適応的隣接行列を用いた潜在空間におけるGNNの利用により、長期予測の安定性を向上させること。
• 安定的で明確な画像予測を保証することで、潜在空間におけるRRTベースの計画法の有効な適用を可能にすること。
• 実世界およびシミュレーション環境において、未観測のオブジェクト数や複雑なダイナミクス（変形可能なオブジェクトを含む）に一般化できることを実証すること。

提案手法

• 暗黙のオブジェクトエンコーダーがマルチビュー画像を、各オブジェクトに特化した潜在ベクトルの集合にマップする。各潜在ベクトルは、明確に区別された3次元オブジェクトを符号化する。
• 各潜在ベクトルが個別のNeRFをパラメータ化し、新しい視点からの合成的レンダリングにより3次元に注意を向けるシーン再構築を可能にする。
• 潜在空間で動作するグラフニューラルネットワーク（GNN）ダイナミクスモデルであり、エッジ特徴はエッジエンコーダーで学習され、ノードの更新はノード伝搬ネットワークで実行される。
• オブジェクト間の隣接行列は、モデル自身の予測から推定されるため、オブジェクト相互作用の適応的モデリングが可能になる。
• 異なる視点間での3次元一貫性を強制する微分可能レンダリングパイプラインを用いることで、潜在ベクトルの品質と3次元一般化性能が向上する。
• 安定的で長期的な予測が可能であるため、潜在空間にRRTベースの計画法を適用可能になる。

実験結果

リサーチクエスチョン

• RQ1 NeRFデコーダーを備えた構成的でオブジェクト中心のオートエンコーダーは、訓練時に観測されたオブジェクト数とは異なるオブジェクト数のシーンに、ダイナミクス予測を一般化できるか？
• RQ2 NeRFベースの再構築による3次元のインダクティブバイアスの組み込みは、2次元画像ベースのベースラインと比較して、長期的なダイナミクス予測の安定性を向上させるか？
• RQ3 予測されたオブジェクト相互作用を情報源とする潜在空間におけるGNNベースのダイナミクスモデルは、非構成的モデルと比較して、より正確で安定した長期予測を達成できるか？
• RQ4 本手法は、剛体および変形可能なオブジェクト（未観測のオブジェクト数を含む）を含む実世界のシーンに対しても、効果的に一般化できるか？
• RQ5 グローバルなシーン表現ではなく、オブジェクトごとに個別のNeRFを用いることで、単一オブジェクトのシーンでさえも性能が向上するか？

主な発見

• 非構成的ベースラインと比較して、本手法は特に長期予測ホライズンにおいて顕著に低い画像再構築誤差および予測誤差を達成しており、15ステップの予測後でも相対的画像誤差が低く保たれている。
• キリンと靴の実世界実験では、15ステップの予測においても画像誤差が0.05未満を維持し、ベースラインが急速に性能を低下させるのを上回る。
• 訓練時よりも少ないオブジェクト数のシーン（例：靴のみ、砂型のみ）に対しても、本モデルは効果的に一般化しており、分布シフトにより失敗するベースラインとは対照的である。
• ロープを用いた変形可能なオブジェクトの実験でも、本手法は安定した予測を維持し、密なGNNおよびCNNベースのデコーダー変種を上回る。形状変化へのロバスト性が示された。
• 個々のオブジェクトごとのNeRFの使用により、適応的隣接行列学習が可能となり、単一オブジェクトシーンでも性能向上が見られ、構成的設計の利点が裏付けられた。
• 安定的で明確な画像予測が可能であるため、潜在空間におけるRRTベースの計画が成功裏に実行可能であり、後続の制御タスクへの有用性が検証された。