[論文レビュー] Pseudo-Stereo for Monocular 3D Object Detection in Autonomous Driving

Yinan Chen, Hang Dai+1 more|arXiv (Cornell University)|Mar 4, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、単一のモノクロム画像から画像レベル、特徴量レベル、および特徴量クローンの仮想ステレオビュー生成手法を用いて仮想ステレオビューを生成する疑似ステレオ3次元検出フレームワークを提案する。深度推定と不変性のある特徴量フィルタリングを可能にする不変性のある畳み込みを用いることで、最先端の性能を達成し、モノクロム3次元検出において、KITTI-3Dベンチマークで車両、歩行者、自転車乗りの3つのカテゴリで1位を達成した。

ABSTRACT

Pseudo-LiDAR 3D detectors have made remarkable progress in monocular 3D detection by enhancing the capability of perceiving depth with depth estimation networks, and using LiDAR-based 3D detection architectures. The advanced stereo 3D detectors can also accurately localize 3D objects. The gap in image-to-image generation for stereo views is much smaller than that in image-to-LiDAR generation. Motivated by this, we propose a Pseudo-Stereo 3D detection framework with three novel virtual view generation methods, including image-level generation, feature-level generation, and feature-clone, for detecting 3D objects from a single image. Our analysis of depth-aware learning shows that the depth loss is effective in only feature-level virtual view generation and the estimated depth map is effective in both image-level and feature-level in our framework. We propose a disparity-wise dynamic convolution with dynamic kernels sampled from the disparity feature map to filter the features adaptively from a single image for generating virtual image features, which eases the feature degradation caused by the depth estimation errors. Till submission (November 18, 2021), our Pseudo-Stereo 3D detection framework ranks 1st on car, pedestrian, and cyclist among the monocular 3D detectors with publications on the KITTI-3D benchmark. The code is released at https://github.com/revisitq/Pseudo-Stereo-3D.

研究の動機と目的

• 単眼とステレオの3次元検出器の性能差を解消するために、単一の画像から疑似ステレオビューを生成すること。
• 画像からLiDARへの変換と比較して、画像から画像へのステレオ生成のギャップが小さいことを利用し、単眼3次元検出を向上させること。
• 深度推定の誤差によって引き起こされる特徴量劣化を、適応的特徴量フィルタリングにより軽減すること。
• 異なる仮想ビュー生成段階における深度監視と推定深度マップの有効性を分析すること。

提案手法

• 3つの仮想ビュー生成手法を提案：画像レベル（推定された視差を用いて入力画像をワープ）、特徴量レベル（左特徴量に視差別動的畳み込みを適用）、特徴量クローン（左特徴量を仮想右特徴量としてクローン化）。
• 視差特徴マップから動的カーネルをサンプリングする視差別動的畳み込み（DDC）を導入し、特徴量を適応的にフィルタリングすることで、深度誤差による劣化を低減する。
• 事前学習済みの深度推定ネットワークを用いて視差マップを生成し、画像レベルおよび特徴量レベルの仮想ビュー生成をガイドする。
• ステレオ3次元検出器（例：LIGA-Stereo）をバックボーンとして採用し、生成された疑似ステレオビューを処理して3次元オブジェクト検出を実行する。
• 特徴量レベル生成において、深度損失を監視信号として用い、深度に依存する特徴量学習を強化する。
• 深度依存なしのトレーニングモードもサポートし、特徴量クローンは深度に依存しない堅牢なベースラインとして機能する。

実験結果

リサーチクエスチョン

• RQ1 単一画像からの仮想ステレオビュー生成は、Pseudo-LiDAR手法と比較して、単眼3次元検出性能を顕著に向上させることができるか？
• RQ2 推定された深度マップと深度損失のどちらが、異なる仮想ビュー生成レベルにおける深度に依存する特徴量学習をより効果的にガイドするか？
• RQ3 提案された視差別動的畳み込みは、特徴量レベル生成における深度推定誤差によって引き起こされる特徴量劣化を効果的に低減するか？
• RQ4 特にテストセットへの分布シフトにさらされた場合に、異なる仮想ビュー生成戦略の一般化能力はいかがなものか？
• RQ5 標準ベンチマーク（例：KITTI-3D）において、疑似ステレオフレームワークは最先端の単眼3次元検出器と比較してどうか？

主な発見

• 視差別動的畳み込みを用いた特徴量レベルの仮想ビュー生成（Ours-fld）は、KITTI-3Dベンチマークで車両、歩行者、自転車乗りの3つのオブジェクトクラスにおいて、全クラスで1位を達成した。
• Ours-fldは、単一モデルでDD3D、GUPNet、MonoPSRを含む最先端の手法をAP3DおよびAPBEV指標の両方で上回った。
• 深度損失は特徴量レベル生成でのみ重要であることが判明したが、推定深度マップは画像レベルおよび特徴量レベルの両方で性能向上に寄与した。
• 特徴量クローン法は、深度推定に依存しないため、検証集合とテスト集合の間の性能ギャップが小さく、より優れた一般化性能を示した。
• 全オブジェクトクラスおよび指標において、18件中18件が最良結果、18件中15件が2番目の結果を達成し、強力なロバスト性と有効性を示した。