[論文レビュー] SceneGraphNet: Neural Message Passing for 3D Indoor Scene Augmentation

Yang Zhou, Zachary While+1 more|arXiv (Cornell University)|Jul 25, 2019

Robotics and Sensor-Based Localization参考文献 23被引用数 6

ひとこと要約

SceneGraphNetは、反復的ニューラルメッセージパッシングとアテンションメカニズムを備えたグラフニューラルネットワークを提案し、3Dインテリアシーンにおける欠落している位置の妥当なオブジェクトタイプを予測する。密なシーングラフで空間的および構造的関係をモデル化することで、SUNCGデータセット上で先行手法に比べてゼロショットオブジェクト予測を16%（51%から67%）向上させるとともに、コンテキストに配慮した認識と反復的シーン生成を可能にする。

ABSTRACT

In this paper we propose a neural message passing approach to augment an input 3D indoor scene with new objects matching their surroundings. Given an input, potentially incomplete, 3D scene and a query location, our method predicts a probability distribution over object types that fit well in that location. Our distribution is predicted though passing learned messages in a dense graph whose nodes represent objects in the input scene and edges represent spatial and structural relationships. By weighting messages through an attention mechanism, our method learns to focus on the most relevant surrounding scene context to predict new scene objects. We found that our method significantly outperforms state-of-the-art approaches in terms of correctly predicting objects missing in a scene based on our experiments in the SUNCG dataset. We also demonstrate other applications of our method, including context-based 3D object recognition and iterative scene generation.

研究の動機と目的

• 不完全な3Dインテリアシーンにおける欠落または照会された位置のための妥当なオブジェクトタイプを予測する課題に対処すること。
• オブジェクトの外観に依存するのではなく、シーン内のオブジェクト間のコンテキスト的関係を活用することで、3Dオブジェクト認識を向上させること。
• 段階的に適切なコンテキストのオブジェクトを追加することで、反復的な3Dシーン拡張を可能にすること。
• 複数の関係タイプを備えた統一されたグラフ表現を用いて、インテリアシーンにおける局所的および長距離の関係をモデル化すること。
• アテンションを介して関係するシーンコンテキストを動的に重み付けするメッセージパッシング機構を開発し、予測のロバスト性と正確性を向上させること。

提案手法

• ノードがオブジェクトで、エッジが複数の関係タイプ（支持、隣接、共起、周囲み）を符号化する密なグラフとして3Dインテリアシーンを表現する。
• 各ノードが、学習された関係固有のニューラルモジュールを通じて隣接ノードからのメッセージをアグリゲートするメッセージパッシングフレームワークを採用する。
• 複数のイテレーションにわたるメッセージの統合を可能にするために、ゲート付き再帰ユニット（GRU）を用いる。
• 到着するメッセージの重みを関連性に基づいて付与するアテンションメカニズムを適用し、モデルが最も情報の多いシーンコンテキストに注目できるようにする。
• 複数ラウンドにわたる反復的メッセージパッシングを統合し、オブジェクト予測を精緻化する。性能は3ラウンド後に安定し、それ以上に振動は最小限に抑えられる。
• SceneGraphNetの予測とマルチビューCNN特徴（例：MVCNN）を統合することで、コンテキストに配慮した3Dオブジェクト認識を向上させる。

実験結果

リサーチクエスチョン

• RQ1 密なシーングラフ上でニューラルメッセージパッシングフレームワークを用いることで、不完全な3Dインテリアシーンにおける欠落オブジェクトタイプの予測が有効に行えるか？
• RQ2 木構造、スパarsな構造、完全接続構造などの異なるグラフ構造と、和、最大値、GRUなどのメッセージ集約メカニズムが予測性能に与える影響は？
• RQ3 アテンションベースのメッセージ重み付けを組み込むことで、一様または距離に基づく重み付けと比較して、オブジェクト予測の正確性がどの程度向上するか？
• RQ4 提案手法により、外観特徴を超えたシーンコンテキストを活用することで、3Dオブジェクト認識が向上するか？
• RQ5 オブジェクトが段階的に追加される不完全なシーンに対して、本手法は反復的シーン生成においてどの程度効果的か？

主な発見

• SceneGraphNetは、SUNCGデータセット上でゼロショットオブジェクト予測の正確性を51%から67%に向上させ、先行SOTA手法に比べ16%の相対的改善を達成した。
• メッセージパッシングを3ラウンド実行した後、トップ5正確度が89.5%に達し、それ以上のラウンドでは性能が安定し、最小限の振動を示した。
• SceneGraphNetとMVCNNを組み合わせたコンテキストに配慮したオブジェクト認識により、テストシーン全体の平均分類正確度が59.2%から72.2%に向上した。
• アブレーションスタディの結果、GRU集約、アテンション重み付け、密なグラフ構造を備えた完全モデルが、和、最大値、またはヴァナイルRNN集約を用いたすべての変種を上回ることを確認した。
• オブジェクトサイズの予測誤差は平均26 cmであり、GRAINS（38 cm誤差）を上回り、シーン拡張における幾何的整合性の向上を示している。
• モデルは多様な部屋タイプにわたり優れた一般化性能を示し、図8に示すように、部屋内のオブジェクト数が増加するにつれてトップ3分類正確度が顕著に向上した。