[論文レビュー] Panoptic 3D Scene Reconstruction From a Single RGB Image

Manuel Dahnert, Ji Hou+2 more|arXiv (Cornell University)|Nov 3, 2021

Advanced Vision and Imaging参考文献 39被引用数 8

ひとこと要約

本稿では、1枚のRGB画像からパノプティック3Dシーン再構築を提示し、幾何再構築、3Dセマンティックセグメンテーション、3Dインスタンスセグメンテーションを1つの統合的タスクに統合する。本手法は、深度に従った特徴伝搬を用いて2D特徴およびインスタンス予測を3Dに持ち上げ、幾何、セマンティクス、インスタンス認識を共同で最適化することで、最先端の性能を達成する。

ABSTRACT

Understanding 3D scenes from a single image is fundamental to a wide variety of tasks, such as for robotics, motion planning, or augmented reality. Existing works in 3D perception from a single RGB image tend to focus on geometric reconstruction only, or geometric reconstruction with semantic segmentation or instance segmentation. Inspired by 2D panoptic segmentation, we propose to unify the tasks of geometric reconstruction, 3D semantic segmentation, and 3D instance segmentation into the task of panoptic 3D scene reconstruction - from a single RGB image, predicting the complete geometric reconstruction of the scene in the camera frustum of the image, along with semantic and instance segmentations. We thus propose a new approach for holistic 3D scene understanding from a single RGB image which learns to lift and propagate 2D features from an input image to a 3D volumetric scene representation. We demonstrate that this holistic view of joint scene reconstruction, semantic, and instance segmentation is beneficial over treating the tasks independently, thus outperforming alternative approaches.

研究の動機と目的

• 1枚のRGB画像からの包括的3Dシーン理解のため、幾何再構築、3Dセマンティックセグメンテーション、3Dインスタンスセグメンテーションを1つのタスクに統合すること。
• 再構築とセマンティクスを別々のタスクとして扱う従来の手法の限界を解消し、最適でない共同性能をもたらす問題に対処すること。
• 高分解能2D予測を活用して3Dオブジェクトおよびシーン理解をガイドおよび精緻化する手法を開発すること。
• 幾何、セマンティックラベル付け、インスタンス認識を統合的に評価するパノプティカル3D再構築のための新しい評価パラダイムを導入すること。
• 幾何、セマンティクス、インスタンス予測の共同最適化が、分離したアプローチよりも性能を向上させることを示すこと。

提案手法

• 1枚のRGB画像から、2D畳み込みバックボーンを用いて特徴抽出、深度予測、2Dセマンティックセグメンテーション、2Dインスタンスセグメンテーションを実行する。
• 予測された深度を用いて、特徴をカメラの視錐体に逆投影することで、2D特徴を3Dボリューム表現に持ち上げる。
• インスタンス伝搬を適用し、2Dインスタンス予測を3Dに転送し、3Dオブジェクトの精緻化およびクラスタリングのためのシードとして活用する。
• 局所化と精緻化の向上を図るため、粗いものから細かいものへの階層的予測戦略を採用する。
• 3Dクラスタリングベースのインスタンスヘッドを用い、互いに2cm以内の距離にある表面点をグループ化して3Dインスタンスクラスタを形成し、3Dセマンティック確率に基づいてセマンティックラベルと信頼度スコアを割り当てる。
• トレーニング中に再構築損失、セマンティックセグメンテーション損失、インスタンス認識損失を共同で最適化することで、包括的タスクのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1枚のRGB画像からの3Dシーン再構築、セマンティックセグメンテーション、インスタンスセグメンテーションを統合するフレームワークは、分離されたアプローチを上回る性能を発揮できるか？
• RQ2 直接3D予測と比較して、2Dから3Dへのインスタンス伝搬は、3Dオブジェクト認識および幾何再構築の効果をどの程度向上させるか？
• RQ3 粗いものから細かいものへの階層的予測戦略は、3Dシーン再構築およびインスタンスセグメンテーションの精度にどのような影響を与えるか？
• RQ4 オクルージョンやノイズの存在下で、2Dの高分解能信号の統合は、3Dパノプティカル性能をどの程度向上させるか？
• RQ5 幾何、セマンティクス、インスタンス予測の共同最適化は、別々に学習する場合と比較して、全体的なシーン理解をどの程度向上させるか？

主な発見

• 提案手法は、'all'カテゴリでパノプティカル再構築品質（PRQ）44.58を達成し、Mesh R-CNN（'things'で35.76）やSSCNet（'all'で15.88）といったベースライン手法を著しく上回る。
• 真値深度を用いる場合、'stuff'でPRQ 73.43、'things'で38.17を達成し、構造的およびオブジェクトレベルのセマンティクスにおいて強力な性能を示す。
• アブレーションスタディの結果、インスタンス伝搬を除去した場合（Ours w/o IP）に著しい性能低下が見られ、3Dインスタンス認識の正確性においてその重要性が確認された。
• 粗いものから細かいものへの階層的予測戦略により、シーン構造の早期かつより正確な局所化が可能となり、性能向上が達成された。
• 再構築とセマンティクスを別々に扱う代替手法よりも優れていることから、包括的3Dシーン理解のための共同最適化の利点が実証された。
• 定性的な結果では、特にオクルージョンや複雑な領域において、Mesh R-CNNと比較して、より優れたオブジェクトの幾何形状とインスタンス分離が得られている。