[論文レビュー] Semantic Scene Completion via Integrating Instances and Scene in-the-Loop

Yingjie Cai, Xuesong Chen+4 more|arXiv (Cornell University)|Apr 8, 2021

Advanced Vision and Imaging参考文献 43被引用数 7

ひとこと要約

本稿では、3Dセマンティックシーンコンプリートの精度を向上させるために、シーンからインスタンス、そしてインスタンスからシーンへの繰り返し的かつ交互なセマンティックコンプリートを実行する新規の反復的フレームワーク、SISNetを提案する。粗いコンプリート済みシーンからインスタンスを分離し、重み共有の反復的ループ内でシーンおよびインスタンスレベルの事前知識を活用することで、SISNetはNYU、NYUCAD、SUNCG-RGBDデータセットで最先端の性能を達成し、細分化された形状の回復を著しく向上させるとともに、カテゴリの混同を低減した。

ABSTRACT

Semantic Scene Completion aims at reconstructing a complete 3D scene with precise voxel-wise semantics from a single-view depth or RGBD image. It is a crucial but challenging problem for indoor scene understanding. In this work, we present a novel framework named Scene-Instance-Scene Network ( extit{SISNet}), which takes advantages of both instance and scene level semantic information. Our method is capable of inferring fine-grained shape details as well as nearby objects whose semantic categories are easily mixed-up. The key insight is that we decouple the instances from a coarsely completed semantic scene instead of a raw input image to guide the reconstruction of instances and the overall scene. SISNet conducts iterative scene-to-instance (SI) and instance-to-scene (IS) semantic completion. Specifically, the SI is able to encode objects' surrounding context for effectively decoupling instances from the scene and each instance could be voxelized into higher resolution to capture finer details. With IS, fine-grained instance information can be integrated back into the 3D scene and thus leads to more accurate semantic scene completion. Utilizing such an iterative mechanism, the scene and instance completion benefits each other to achieve higher completion accuracy. Extensively experiments show that our proposed method consistently outperforms state-of-the-art methods on both real NYU, NYUCAD and synthetic SUNCG-RGBD datasets. The code and the supplementary material will be available at \url{https://github.com/yjcaimeow/SISNet}.

研究の動機と目的

• 単一視点RGBD入力からの不完全で曖昧な3Dシーン理解、特に細分化された形状の詳細や意味的に混乱しやすい領域の処理に課題を提起する。
• 既存のSSCおよびSIC手法がインスタンスレベルの制約を無視するか、シーンの文脈を十分に活用できないため、インスタンス検出およびコンプリートの精度を向上させるために、その限界を克服する。
• シーンとインスタンスレベル間の双方向的情報フローを可能にする統合フレームワークを構築し、全体のコンプリート精度を向上させる。
• 反復的かつパラメータ効率の良いメカニズムを通じて、シーンおよびインスタンスレベルのセマンティック事前知識を統合することで、ベンチマークデータセットで最先端の性能を達成する。

提案手法

• フレームワークはまず、2次元セマンティックマップとTSDFを含むマルチモーダル入力から、粗いコンプリート済み3Dセマンティックシーンを生成し、初期シーン $S_0$ を形成する。
• シーンからインスタンス（SI）コンプリートは、$S_0$ 内のオブジェクトを局所化し、各インスタンスを高解像度でボクセル化することで、細分化された3D形状を回復する。
• インスタンスからシーン（IS）コンプリートは、洗練されたインスタンス形状を元のシーンに統合し、文脈フィードバックを通じて全体のシーンコンプリートを改善する。
• モデルはSIとISコンプリートを交互に実行する反復的で重み共有のメカニズムを採用し、シーンとインスタンスの予測が相互に強化されるようにする。
• 反復プロセスはマルチステージの監視を伴って端末から端末へと訓練され、インスタンスの詳細とグローバルなシーン意味の両方を段階的に洗練できる。
• カテゴリ事前知識とシーンコンテキストを活用することで、オブジェクトカテゴリの曖昧性（例：窓と壁）を解消し、検出精度を向上させる。

Figure 2: Overview of the Proposed Method . SISNet consists of iterative scene-to-instance completion and instance-to-scene completion stages. Given single-view RGBD images, TSDF from the depth map and semantic volume from the reprojection of 2D semantic segmentation are input into the initial scene

実験結果

リサーチクエスチョン

• RQ1 粗いコンプリート済みシーンにインスタンスレベルの詳細を統合することで、3Dセマンティックシーンコンプリートの精度が向上するか？
• RQ2 シーンとインスタンスレベル間の反復的最適化は、単一段階または非反復的手法よりも優れた性能を達成するか？
• RQ3 シーンコンテキストを監視信号として用いることで、インスタンス検出および形状コンプリートが顕著に改善されるか？
• RQ4 複雑で遮蔽された、または意味的に曖昧な領域を扱う際、提案手法は最先端のSSCおよびSIC手法と比較してどのように優れているか？
• RQ5 性能と計算コストのバランスを考慮した場合、シーン-インスタンス-シーンループにおける最適な反復回数は何か？

主な発見

• NYUデータセットでは、SISNetは1回の反復でベースライン $S_0$ に対してSSC IoUを5.2%向上させ、2回の反復でさらに2%の向上を達成した。
• NYUCADでは、1回の反復でSSC IoUを4.4%向上させ、2回の反復でさらに2%向上させ、全データセットにわたり一貫した向上を示した。
• SUNCG-RGBDでは、計算コストはスケッチと同等ながら、SC IoUで8.1%、SSC IoUで23.2%の向上を達成し、SISNetの優位性を示した。
• アブレーションスタディの結果、インスタンスコンプリートをスキップすると、平均でSSC性能が2.8%低下し、その重要性が裏付けられた。
• 初期シーンコンプリートステップにより、mAPと再現率が約10%向上し、シーンコンテキストがインスタンス局所化を向上させることを示した。
• 2回を超える反復では顕著な向上が得られず、最適な性能を得るには2回の反復で十分であることが示された。

Figure 3: Architecture details of initial scene completion. Given TSDF and semantic volume, to infer missing invisible shape details, we exploit DDR to encode features and propagate information with skip layers, yielding a whole scene completion results.