[論文レビュー] DSGN++: Exploiting Visual-Spatial Relation for Stereo-based 3D Detectors

Yilun Chen, Shijia Huang+3 more|arXiv (Cornell University)|Apr 6, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

DSGN++は、深さ方向の平面スイープ（DPS）、二重視野ステレオボリューム（DSV）、ステレオ-LiDAR コピー・ペーストを用いたデータ拡張により、ステレオベースの3次元オブジェクト検出フレームワークを提案する。KITTIベンチマークにおいて、追加の装飾要素なしに、車両で69.12 AP 3Dを達成し、最先端の性能を発揮した。

ABSTRACT

Camera-based 3D object detectors are welcome due to their wider deployment and lower price than LiDAR sensors. We first revisit the prior stereo detector DSGN for its stereo volume construction ways for representing both 3D geometry and semantics. We polish the stereo modeling and propose the advanced version, DSGN++, aiming to enhance effective information flow throughout the 2D-to-3D pipeline in three main aspects. First, to effectively lift the 2D information to stereo volume, we propose depth-wise plane sweeping (DPS) that allows denser connections and extracts depth-guided features. Second, for grasping differently spaced features, we present a novel stereo volume -- Dual-view Stereo Volume (DSV) that integrates front-view and top-view features and reconstructs sub-voxel depth in the camera frustum. Third, as the foreground region becomes less dominant in 3D space, we propose a multi-modal data editing strategy -- Stereo-LiDAR Copy-Paste, which ensures cross-modal alignment and improves data efficiency. Without bells and whistles, extensive experiments in various modality setups on the popular KITTI benchmark show that our method consistently outperforms other camera-based 3D detectors for all categories. Code is available at https://github.com/chenyilun95/DSGN2.

研究の動機と目的

• ステレオベースの3次元検出器における2次元から3次元への特徴マッピングにおける情報フローの制限を解消すること。
• 歩行者や自転車など不規則な形状のオブジェクトに対して、前面視野と上面視野の特徴を統合することで3次元表現を向上させること。
• 新しいクロスモーダルなデータ編集戦略を用いて、カメラベースの3次元検出におけるデータの不均衡を軽減し、一般化性能を向上させること。
• LiDARに依存せずに、長距離および隠蔽状態のシナリオにおけるモデルの効率性とロバスト性を向上させること。

提案手法

• 深さ方向の平面スイープ（DPS）は、チャネル容量を拡張し、局所的な連続性を確保するためのサイクリックスライシングを用いることで、密度が高く深さに従った特徴伝搬を可能にする。
• 二重視野ステレオボリューム（DSV）は、前面視野の平面スイープボリュームと上面視野の3次元ジオメトリーボリュームの特徴を統合し、異なる形状のオブジェクトをよりよく捉える。
• ステレオ-LiDAR コピー・ペーストは、LiDARが生成した3次元オブジェクトをステレオ画像にコピーすることでデータ編集を実施し、クロスモーダルな整合性を確保するとともに、データ効率を向上させる。
• フレームワークは、2Dバックボーン（例：ResNet-34）を二重に用いて特徴を抽出し、その後ステレオボリュームを構築し、最終予測にはBEVベースの3次元検出器を用いる。
• DPSにおけるサイクリックスライシングにより、深さ平面間での滑らかな特徴遷移が確保され、3次元ボリュームにおける解像度と連続性が向上する。
• 本手法はエンドツーエンドで学習可能であり、追加のヘッド設計や複雑な後処理を必要としない。

実験結果

リサーチクエスチョン

• RQ1 2次元から3次元への特徴マッピングをどのように改善すれば、より豊かな意味的・幾何的情報を保持できるか？
• RQ2 前面視野と上面視野のステレオボリュームを組み合わせることで、不規則な形状のオブジェクトに対するより良い3次元表現が得られるか？
• RQ3 クロスモーダルなデータ拡張戦略は、カメラベースの3次元検出におけるデータ効率と一般化性能をどの程度向上させられるか？
• RQ4 提案されたステレオモデリングは、長距離および隠蔽状態のオブジェクト検出性能にどのように影響を与えるか？

主な発見

• DSGN++はKITTIベンチマークにおいて、車両で69.12 AP 3Dを達成し、追加のコンponentsなしに先行するステレオベースの検出器を上回った。
• ステレオ-LiDAR コピー・ペースト戦略により、車両のAP 3Dが+2.60、正例数を増加させた場合に+2.53向上し、強力なデータ効率の向上を示した。
• DSVの使用により、前方の深さ推定誤差が0.63mから0.57mに低下し、距離にかかわらず幾何的正確性が向上したことが示された。
• 効率的なR18-DSGN++バージョンは、フルモデルの半分のパラメータ数で68.12 AP 3Dを達成し、優れたスピード-精度トレードオフを示した。
• ResNet-18を用いることで推論時間が0.178秒にまで短縮され、標準パイプラインにおいて2Dバックボーンが未利用であることが示された。
• 定性的な結果では、隠蔽状態や遠距離のオブジェクトに対してもロバストな検出が可能であり、50mの距離でも正確な3次元バウンディングボックスが得られた。