[論文レビュー] Geometry-Aware Instance Segmentation with Disparity Maps

Cho-Ying Wu, Xiaoyan Hu+3 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Vision and Imaging参考文献 42被引用数 4

ひとこと要約

本稿では、ステレオカメラからのRGB画像と視差マップを統合することで、自律走行における3次元対応オブジェクト検出およびセグメンテーションを向上させる幾何学的注意型インスタンスセグメンテーションフレームワーク、GAIS-Netを提案する。疑似LiDAR投影とマルチモーダルROI特徴（2D、2.5D、3D）を活用することで、幾何的事前知識を用いてマスク予測を強化し、誤検出を低減する。本手法は、Cityscapesよりも4倍大きな基準距離と焦点距離を有する新たに収集されたHigh-Quality Driving Stereo（HQDS）データセットにおいて、最先端の性能を達成した。

ABSTRACT

Most previous works of outdoor instance segmentation for images only use color information. We explore a novel direction of sensor fusion to exploit stereo cameras. Geometric information from disparities helps separate overlapping objects of the same or different classes. Moreover, geometric information penalizes region proposals with unlikely 3D shapes thus suppressing false positive detections. Mask regression is based on 2D, 2.5D, and 3D ROI using the pseudo-lidar and image-based representations. These mask predictions are fused by a mask scoring process. However, public datasets only adopt stereo systems with shorter baseline and focal legnth, which limit measuring ranges of stereo cameras. We collect and utilize High-Quality Driving Stereo (HQDS) dataset, using much longer baseline and focal length with higher resolution. Our performance attains state of the art. Please refer to our project page. The full paper is available here.

研究の動機と目的

• ステレオ視差マップからの幾何的手がかりを統合することで、屋外の自律走行におけるインスタンスセグメンテーションのロバスト性を向上させること。
• 照明、影、テクスチャの変動に敏感な単眼またはRGBオンリー手法の限界を解消すること。
• 2D、2.5D、3D表現を統合するマルチモーダルでエンドツーエンド学習可能なネットワークを構築し、マスク予測を改善すること。
• より遠方のステレオマッチングと幾何的推論を可能にするために、より長い基準距離と焦点距離を有する高品質なステレオデータセット（HQDS）を収集・公開すること。
• 視差マップからの幾何的事前知識が誤検出を低減し、重なっているか遠く離れたオブジェクトにおいてもマスク品質を向上させることを実証すること。

提案手法

• PSMNetを用いてステレオ画像ペアから密な視差マップを生成し、疑似LiDARバックプロジェクションにより3次元空間に投影する。
• ResNet50-FPNバックボーンとRPNを用いて左画像から領域候補を抽出し、2D ROIsを形成する。
• 2.5D ROIsは視差マップからクロップされ、3D ROIsは視差値を3次元点群にバックプロジェクションすることで作成される。
• PointNetベースのネットワークが3D ROIsを処理し、3次元特徴を抽出し、各点のマスク確率を予測する。これらの予測は2次元に再投影され、損失計算に用いられる。
• 2D、2.5D、3Dマスク予測はマスクスコアリングメカニズムにより統合され、最終的なマスク信頼度とIoUが向上する。
• ネットワークは組み合わせ損失 $π_{box}$, $π_{cls}$, $π_{2Dmask}$, $π_{3Dmask}$ およびマスクIoUヘッドを用いて学習され、マスク品質が最適化される。

実験結果

リサーチクエスチョン

• RQ1 ステレオカメラからの視差マップが、形状と奥行きのための幾何的事前知識を提供することで、インスタンスセグメンテーション性能を向上させられるか？
• RQ2 2D、2.5D、3D表現の統合が、マスク予測精度を向上させるとともに誤検出を低減するか？
• RQ3 ステレオシステムにおけるより長い基準距離と焦点距離が、遠方オブジェクト検出と幾何的一致性をどの程度向上させるか？
• RQ4 画像、視差、3次元点群特徴を統合するマルチモーダルネットワークが、純粋にRGBに基づくインスタンスセグメンテーションモデルを上回るか？
• RQ5 提案されたマスクスコアリング統合メカニズムは、個々のモダリティ予測と比較して、最終的なセグメンテーション品質をどの程度向上させるか？

主な発見

• GAIS-NetはHQDSデータセットで最先端の性能を達成し、同じバックボーンを用いたMask-RCNNと比較してマスクAPが40.7%に上昇した。
• HQDSテストセットにおいて、ボクシングAPは9.7ポイント上昇（36.3% → 46.0%）、マスクAPは6.8ポイント上昇（33.9% → 40.7%）した。
• Cityscapesでは、COCOで事前学習したGAIS-Netが37.1%のマスクAPを達成し、同じ設定下でMask-RCNNの36.4%を上回った。
• HQDSとCityscapesの性能差の主な要因は、HQDSの長い基準距離（0.5 m）と焦点距離（3.3K px）に起因し、これにより遠方のステレオマッチングと幾何的推定が向上した。
• マスクスコアリング統合メカニズムにより、2D、2.5D、3D表現からの予測を統合することで、より一貫性があり正確なマスクが得られた。
• HQDSデータセットは、1024×3072解像度の6K学習および1.2Kテストステレオペアを有し、Cityscapesの4倍大きな $f \times b$ プロダクトを備えており、ステレオベースのインスタンスセグメンテーションの信頼性の高い評価を可能にした。