[論文レビュー] Neural Groundplans: Persistent Neural Scene Representations from a Single Image

Prafull Sharma, Ayush Tewari+8 more|arXiv (Cornell University)|Jul 22, 2022

Advanced Vision and Imaging被引用数 8

ひとこと要約

本稿では、自己教師ありの2次元条件付き特徴グリッド（地面に一致する）であるニューラルグランドプランを導入し、1枚の画像から恒久的な3次元シーン表現を再構築する。トレーニング中にマルチビュー動画の動きの手がかりを活用することで、静的および動的シーン成分を分離可能となり、新規ビュー合成、3次元インスタンスセグメンテーション、ボクセルボックス予測、および動的グランドプランに対する単純なヒューリスティクスによる直感的な3次元編集が可能となる。

ABSTRACT

We present a method to map 2D image observations of a scene to a persistent 3D scene representation, enabling novel view synthesis and disentangled representation of the movable and immovable components of the scene. Motivated by the bird's-eye-view (BEV) representation commonly used in vision and robotics, we propose conditional neural groundplans, ground-aligned 2D feature grids, as persistent and memory-efficient scene representations. Our method is trained self-supervised from unlabeled multi-view observations using differentiable rendering, and learns to complete geometry and appearance of occluded regions. In addition, we show that we can leverage multi-view videos at training time to learn to separately reconstruct static and movable components of the scene from a single image at test time. The ability to separately reconstruct movable objects enables a variety of downstream tasks using simple heuristics, such as extraction of object-centric 3D representations, novel view synthesis, instance-level segmentation, 3D bounding box prediction, and scene editing. This highlights the value of neural groundplans as a backbone for efficient 3D scene understanding models.

研究の動機と目的

• 教師なしで1枚の画像観測から恒久的な3次元シーン表現を学習すること。
• ラベルなしマルチビュー動画における動きを教師信号として用いて、静的背景と移動可能な前面オブジェクトを分離すること。
• 新規ビュー合成、インスタンスレベルのセグメンテーション、3次元ボクセルボックス予測、3次元編集などの下流タスクを可能にすること。
• 3次元クエリとシフト不変性処理を可能にする2次元ベースのメモリ効率の良いニューラルシーン表現を構築すること。
• 自己教師あり学習のみを用いて、複雑で現実世界のシーンにおいて、3次元オブジェクト発見および新規ビュー合成で最先端の性能を達成すること。

提案手法

• 条件付きニューラルグランドプランの提案：地面に一致する2次元特徴グリッドで、ラベルなしマルチビュー動画を用いた微分可能レンダリングと自己教師ありトレーニングにより学習される。
• 3次元ポイントをグランドプラン内の特徴にマッピングする3次元から2次元への投影機構を用い、MLPデコーダーによる3次元クエリを可能にする。
• トレーニング中にマルチビュー動画データの動きの手がかりを活用することで、静的および動的シーン成分のそれぞれに別々のニューラルグランドプランを学習する。
• 動的グランドプランから導出される密度マップに対して連結成分ラベル付けを適用し、インスタンスレベルのセグメンテーションを自己教師ありで実行する。
• バイリニア補間による動的グランドプラン特徴の直接的操作を用いて3次元シーン編集を実現し、オブジェクトの削除、挿入、剛体変換を可能にする。
• 微分可能ボリュームレンダリングに基づく自己教師あり損失を用いて、真値データやインスタンスラベルなしで幾何学的および外観的再構築を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしマルチビュー動画からの自己教師あり学習のみを用いて、1枚の画像から恒久的な3次元シーン表現を再構築できるか？
• RQ2 マルチビュー動画の動きを活用することで、テスト時に1枚の画像から静的および動的シーン成分を分離できるか？
• RQ3 2次元ニューラルグランドプラン表現は、高品質な新規ビュー合成および遮蔽領域の幾何学的補完を可能にするか？
• RQ4 動的グランドプランに単純なヒューリスティクスを適用することで、インスタンスラベルなしに3次元インスタンスセグメンテーションおよびボクセルボックス予測が可能になるか？
• RQ5 ニューラルグランドプランは、特徴グリッドの直接操作によって直感的な3次元シーン編集を可能にするか？

主な発見

• CLEVRデータセットにおいて、3次元オブジェクト発見で最先端の性能を達成し、入力ビューでの調整ランダムインデックス（ARI）は0.92でuORFと同等であり、新規ビュー（NV-ARI）では0.89 vs. 0.86で優れている。
• 挑戦的なCoSYデータセットでは、複数の車両インスタンスを正しくセグメンテーションし、部分的に観測されたオブジェクトに対しても3次元ボクセルボックスを正しく予測できるが、uORFは失敗する。
• 2次元CNNによる歪みのないグランドプランのシフト不変性処理のおかげで、遮蔽領域においても従来のピクセルに一致する手法よりも高品質な新規ビュー合成を実現している。
• 動的グランドプランは、密度マップ上の連結成分解析により、インスタンスレベルの監視なしに正確な3次元インスタンスセグメンテーションとボクセルボックス予測を可能にする。
• 3次元シーン編集は、動的グランドプランの直接操作により実現され、バイリニア補間による特徴の操作でオブジェクトの削除、挿入、剛体変換が可能である。
• 自己教師ありアプローチの先行研究を上回り、マルチビューデータの動きの手がかりが1枚の画像からの分離に効果的に活用できることを示している。