[論文レビュー] Symphonize 3D Semantic Scene Completion with Contextual Instance Queries

Haoyi Jiang, Tianheng Cheng+5 more|arXiv (Cornell University)|Jun 27, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、文脈的なインスタンスクエリを活用して2次元から3次元への再構成およびシーンモデリングを向上させる、新しい3次元セマンティックシーンコンプリート（SSC）フレームワークであるSymphoniesを提案する。シリアルインスタンス伝搬注意機構とデプス補正型ボクセルプロポーザルレイヤーを導入することで、インスタンスの意味情報とグローバルな文脈を効果的に統合し、SemanticKITTIで15.04、SSCBench-KITTI-360で18.58の最先端のmIoUスコアを達成した。

ABSTRACT

`3D Semantic Scene Completion (SSC) has emerged as a nascent and pivotal undertaking in autonomous driving, aiming to predict voxel occupancy within volumetric scenes. However, prevailing methodologies primarily focus on voxel-wise feature aggregation, while neglecting instance semantics and scene context. In this paper, we present a novel paradigm termed Symphonies (Scene-from-Insts), that delves into the integration of instance queries to orchestrate 2D-to-3D reconstruction and 3D scene modeling. Leveraging our proposed Serial Instance-Propagated Attentions, Symphonies dynamically encodes instance-centric semantics, facilitating intricate interactions between image-based and volumetric domains. Simultaneously, Symphonies enables holistic scene comprehension by capturing context through the efficient fusion of instance queries, alleviating geometric ambiguity such as occlusion and perspective errors through contextual scene reasoning. Experimental results demonstrate that Symphonies achieves state-of-the-art performance on challenging benchmarks SemanticKITTI and SSCBench-KITTI-360, yielding remarkable mIoU scores of 15.04 and 18.58, respectively. These results showcase the paradigm's promising advancements. The code is available at https://github.com/hustvl/Symphonies.

研究の動機と目的

• ボクセル単位のモデリングにおける3次元セマンティックシーンコンプリート（SSC）の限界を解消すること。特に、高レベルのインスタンス意味情報が無視されやすく、遮蔽や視覚的歪みによって幾何的曖昧性が生じる問題を改善する。
• インスタンス中心の意味情報を動的中間表現として用いることで、2次元画像特徴量と3次元ボリューム表現の間のギャップを埋める。
• 複数のインスタンスクエリの統合により、幾何的曖昧性を軽減する文脈的推論を可能にし、包括的なシーン理解を向上させる。
• 画像、インスタンス、3次元シーン表現間での効率的かつ相互に作用する特徴学習を促進する、新しいアーキテクチャを開発する。
• 挑戦的なSSCベンチマークで最先端の性能を達成するとともに、注目マップの分析によって解釈可能性を提供する。

提案手法

• 画像特徴量から導出されるスパarsityで学習可能なインスタンスクエリを用いて、3次元シーンモデリングをガイドする、新しい3次元SSCのパラダイムであるSymphoniesを導入する。
• 複数段階にわたり、画像特徴量、インスタンスクエリ、3次元ボクセル特徴量の間で動的かつクロスアテンションによる相互作用を可能にする、シリアルインスタンス伝搬注意機構を提案する。
• 初期の2次元から3次元への幾何的推定を、画像特徴量を暗黙のシーン表面に投影することで改善する、デプス補正型ボクセルプロポーザルレイヤーを実装する。
• 複数のインスタンスクエリを統合することで、遮蔽や視覚的歪みに対して強力なグローバルシーン文脈を強化する。
• 反復的精錬を用いたトランスフォーマー基盤のデコーダーを用い、マルチモodalアテンションによりボクセルレベルのセマンティック予測を段階的に向上させる。
• 特徴量をフル解像度にアップサンプリングし、各ボクセルのクラススコアを予測するセグメンテーションヘッドを採用し、トレーニングにはクロスエントロピー損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 遮蔽や視覚的歪みによって生じる幾何的曖昧性を低減するために、インスタンス中心の意味情報が3次元シーンコンプリートに寄与するか？
• RQ2 スパarsityなインスタンスクエリが、2次元画像特徴量と3次元ボリューム表現の間を効果的にブリッジするか？
• RQ3 複数のインスタンスクエリを統合することで、グローバルシーン文脈がどの程度強化され、全体的なシーン理解が向上するか？
• RQ4 クエリベースのアテンションメカニズムが、従来のボクセル単位の特徴集約よりも3次元SSCタスクで優れた性能を発揮するか？
• RQ5 提案されたデプス補正型ボクセルプロポーザルレイヤーは、標準的な逆パースペクティブマッピングに比べ、初期幾何的推定をどの程度改善するか？

主な発見

• Symphoniesは、SemanticKITTIのバリデーションセットで15.04の最先端のmIoUを達成し、先行するビジョンベース手法を顕著に上回った。
• より挑戦的なSSCBench-KITTI-360ベンチマークでは、SymphoniesがmIoU 18.58を達成し、優れた汎化性能と頑健性を示した。
• アブレーションスタディにより、シリアルインスタンス伝搬注意機構とデプス補正型ボクセルプロポーザルレイヤーの両方が性能向上に不可欠であることが確認された。
• 注目マップの可視化により、インスタンスクエリが画像および3次元シーンの意味的に関連する領域に選択的に注目していることが示され、モデルの解釈可能性とインスタンスに敏感な推論が裏付けられた。
• MonoSceneなどのベースライン手法が径方向の曇った出力を持つのに対し、Symphoniesはより鋭く正確な予測を生成した。
• 特にレアで複雑なカテゴリ、例えば植生（25.72 mIoU）やフェンス（3.90 mIoU）においても優れた性能を発揮し、意味的一般化能力の向上が示された。