[論文レビュー] Bridging Stereo Geometry and BEV Representation with Reliable Mutual Interaction for Semantic Scene Completion

Bohan Li, Yasheng Sun+7 more|arXiv (Cornell University)|Mar 24, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、統一された占有ベースのアーキテクチャを通じてステレオ幾何とビードアイビュー（BEV）表現を統合する、新しいカメラベースの3次元セマンティックシーンコンプリートフレームワーク、BRGSceneを提案する。本手法は、細分化された信頼性のある特徴統合を可能にする相互作用型エナセブル（MIE）ブロックを導入し、双方向の信頼性のある相互作用とデュアルボリュームエナセブルモジュールを備える。これにより、最先端の性能を達成し、SemanticKITTIで15.43%のmIoUを記録し、従来のカメラ専用手法を著しく上回った。

ABSTRACT

3D semantic scene completion (SSC) is an ill-posed perception task that requires inferring a dense 3D scene from limited observations. Previous camera-based methods struggle to predict accurate semantic scenes due to inherent geometric ambiguity and incomplete observations. In this paper, we resort to stereo matching technique and bird's-eye-view (BEV) representation learning to address such issues in SSC. Complementary to each other, stereo matching mitigates geometric ambiguity with epipolar constraint while BEV representation enhances the hallucination ability for invisible regions with global semantic context. However, due to the inherent representation gap between stereo geometry and BEV features, it is non-trivial to bridge them for dense prediction task of SSC. Therefore, we further develop a unified occupancy-based framework dubbed BRGScene, which effectively bridges these two representations with dense 3D volumes for reliable semantic scene completion. Specifically, we design a novel Mutual Interactive Ensemble (MIE) block for pixel-level reliable aggregation of stereo geometry and BEV features. Within the MIE block, a Bi-directional Reliable Interaction (BRI) module, enhanced with confidence re-weighting, is employed to encourage fine-grained interaction through mutual guidance. Besides, a Dual Volume Ensemble (DVE) module is introduced to facilitate complementary aggregation through channel-wise recalibration and multi-group voting. Our method outperforms all published camera-based methods on SemanticKITTI for semantic scene completion. Our code is available on https://github.com/Arlo0o/StereoScene.

研究の動機と目的

• ステレオマッチングとBEV表現を活用することで、カメラベースの3次元セマンティックシーンコンプリート（SSC）における固有の幾何的曖昧さと観測不完全性を解消すること。
• 密な3次元シーンコンプリートにおけるピクセルレベルの信頼性ある予測を実現するため、ステレオ幾何とBEV特徴の間の表現ギャップを埋めること。
• ステレオとBEV特徴の補完的統合を通じて、幾何的正確性と見えない領域におけるセマンティック幻覚化を向上させること。
• ステレオボリュームとBEVボリュームを統合する信頼性のある相互特徴相互作用を備えた統一フレームワークを構築すること。

提案手法

• 3次元ステレオボリュームとBEV特徴の融合を実現する統一された占有ベースのフレームワーク、BRGSceneを提案する。
• ステレオとBEV表現間のピクセルレベル特徴相互作用を可能にする相互作用型エナセブル（MIE）ブロックを導入する。
• 信頼度再重み付けを組み込んだ双方向信頼性のある相互作用（BRI）モジュールを採用し、特徴の整合性を向上させるとともに、特徴集約におけるノイズを低減する。
• チャネルワイドな再キャリブレーションとマルチグループ投票を用いたデュアルボリュームエナセブル（DVE）モジュールを統合し、ステレオとBEV特徴の補完的集約を促進する。
• GwcNetを用いて密な3次元ボリュームを生成し、BEV表現学習を活用してグローバルなセマンティックコンテキストを豊かにする。
• セマンティックセグメンテーションのためのクロスエントロピー損失と、3次元幾何のためのIoUベースの監視を用いて、SemanticKITTIデータセット上でエンドツーエンドにモデルを訓練する。

Figure 2: Overall framework of our proposed BRGScene . Given input stereo images, we employ 2D UNet to extract image features. The BEV latent volume and stereo geometric volume are constructed by a BEV Constructor and a Stereo Constructor , respectively. To bridge their representation gap for fine-g

実験結果

リサーチクエスチョン

• RQ1 3次元セマンティックシーンコンプリートにおいて、ステレオ幾何とBEV表現を統一フレームワークで効果的に統合する方法は何か？
• RQ2 ステレオとBEV特徴間の相互的で信頼度を考慮した特徴相互作用が、シーンコンプリート精度に与える影響は何か？
• RQ3 単一モodal入力と比較して、デュアルボリューム統合（ステレオ＋BEV）が幾何的およびセマンティック性能をどの程度向上させるか？
• RQ4 提案されたMIEおよびDVEモジュールは、複雑な現実世界のシーンにおいて、単純な連結や単方向統合を上回る性能を発揮するか？
• RQ5 本フレームワークは、SSCにとどまらず、3次元オブジェクト検出などの他の3次元認識タスクにも一般化可能か？

主な発見

• BRGSceneはSemanticKITTIの検証セットで15.43%のmIoUを達成し、前回の最先端カメラベース手法VoxFormer-Tと比較して14.5%の相対的改善を示した。
• デュアルボリュームエナセブル（DVE）モジュールは顕著な貢献を示し、単純連結と比較してmIoUを2.06%、IoUを3.24%向上させた。
• 双方向信頼性のある相互作用（BRI）モジュール単体でも、ベースラインと比較してmIoUが2.11%、IoUが3.36%向上し、相互ガイドの価値を示した。
• ステレオボリュームを追加するとIoUが3.51、mIoUが1.57向上し、BEVボリュームを追加するとIoUが2.47、mIoUが1.14向上した。両モodalが補完的役割を果たしていることを確認した。
• 定性的な結果から、BRGSceneはクロスロードや影の届かない領域などの遮蔽領域や遠方領域において、より正確な幾何と優れた幻覚化を実現していることが明らかになった。
• nuScenesにおける初期のBEV検出結果から、BRGSceneは3次元オブジェクト検出に適応可能であり、SSCを越えた幅広い応用可能性を示唆している。

Figure 3: The structure of the proposed Bi-directional Reliable Interaction module, which is designed for pixel-level reliable geometry information interaction.