[論文レビュー] SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D Sequences

Shun-Cheng Wu, Johanna Wald+3 more|arXiv (Cornell University)|Mar 27, 2021

3D Shape Modeling and Analysis参考文献 60被引用数 8

ひとこと要約

SceneGraphFusionは、部分的かつ不完全なデータを処理できる独自のアテンションメカニズムを備えたグラフニューラルネットワークを用いて、RGB-Dシーケンスからリアルタイムで段階的に3次元シーングラフを予測する最初の手法を提案する。35Hzで動作しながら、3次元シーングラフ予測およびパンオプティックセグメンテーションで最先端の性能を達成し、動的な環境でもグローバルに一貫性のあるセマンティックマッピングを実現する。

ABSTRACT

Scene graphs are a compact and explicit representation successfully used in a variety of 2D scene understanding tasks. This work proposes a method to incrementally build up semantic scene graphs from a 3D environment given a sequence of RGB-D frames. To this end, we aggregate PointNet features from primitive scene components by means of a graph neural network. We also propose a novel attention mechanism well suited for partial and missing graph data present in such an incremental reconstruction scenario. Although our proposed method is designed to run on submaps of the scene, we show it also transfers to entire 3D scenes. Experiments show that our approach outperforms 3D scene graph prediction methods by a large margin and its accuracy is on par with other 3D semantic and panoptic segmentation methods while running at 35 Hz.

研究の動機と目的

• ストリーミングRGB-Dデータからリアルタイムで段階的に3次元シーングラフを構築することを目的とし、部分的で不完全で動的な幾何学的データの課題を克服すること。
• 時間経過とともにサブマップの予測を統合することで、空間的・時間的に一貫性のあるグローバルなセマンティックシーングラフを構築すること。
• 段階的学習中に欠落したノードやエッジを含む部分的な3次元点群に対処できる、新しいアテンションメカニズムを導入すること。
• 「同じパーツ」関係を学習することで、セマンティックとインスタンスレベルの理解を統合し、パンオプティックセグメンテーションに類似した予測を実現すること。
• 大規模なベンチマークで35Hzのリアルタイム性能を維持しながら、3次元シーングラフ予測の高精度を達成すること。

提案手法

• 幾何的セグメンテーションを用いて、RGB-Dシーケンスからプリミティブ形状のシーンコンポONENTを抽出し、初期のシーンノードを形成する。
• グラフニューラルネットワーク（GNN）は、隣接するセグメントからの特徴を集約し、各フレームごとにノードおよびエッジ特徴を段階的に更新する。
• 不完全で動的なグラフを想定して設計された、新しい自己アテンションメカニズムが、部分的で欠落したエッジに対してもアテンション重みを計算する。
• GNNはマルチレイヤー特徴伝搬を採用しており、低レイヤー特徴をキャッシュして再利用することで、ノードの一部のみが変更された場合の更新を高速化する。
• フレームワークは、「同じパーツ」という新しい関係タイプを導入し、セグメントを統合して一貫性のある3次元インスタンスを形成し、パンオプティックスタイルの予測を可能にする。
• 変更のないノードからのキャッシュ済み特徴を再利用するメモリ効率の良い更新戦略を用いて、予測結果をグローバルに一貫性のある3次元シーングラフに統合する。

実験結果

リサーチクエスチョン

• RQ1 RGB-Dシーケンスからリアルタイムで段階的に3次元シーングラフを構築でき、グローバルな一貫性を保てるか？
• RQ2 段階的学習中に欠落したノードやエッジを含む部分的で不完全な3次元データを効果的に処理できるグラフニューラルネットワークは実現可能か？
• RQ3 新規アテンションメカニズムは、動的で不完全な観測条件下でも3次元シーングラフ予測の性能を向上させられるか？
• RQ4 提案手法は、最先端の3次元セマンティックおよびパンオプティックセグメンテーション手法と同等の性能を達成できるか、その程度はいかほどか？
• RQ5 「同じパーツ」関係の統合は、インスタンスレベルの理解を向上させ、全体のシーングラフ品質を改善するか？

主な発見

• SceneGraphFusionは、3次元シーングラフ予測において49.3%のmIoUを達成し、先行手法を大きく上回る性能を示した。
• 本手法は35Hzで動作し、精度を損なわずストリーミングRGB-Dデータに対するリアルタイム動作を実現した。
• ScanNet v2のオープンテストセットでは、「欠落をスキップ」戦略を採用した場合、PQスコアが36.3%に達し、PQおよびRQの両指標でPanopticFusionを上回った。
• アブレーションスタディの結果、提案アテンションメカニズムはGAT比で15.8%、SDPA比で16.5%のmIoU向上を達成した。
• 「同じパーツ」関係の導入により、インスタンスレベルの予測が顕著に向上し、ベースラインからPQが4.8ポイント向上した。
• 部分的観測下でも高い精度を維持でき、p50閾値で41.9%のmIoUを達成し、欠落データに対するロバストネスを示した。