[論文レビュー] DSGN: Deep Stereo Geometry Network for 3D Object Detection

Yilun Chen, Shu Liu+2 more|arXiv (Cornell University)|Jan 10, 2020

Advanced Neural Network Applications参考文献 75被引用数 23

ひとこと要約

DSGNは、ステレオベースの3次元物体検出フレームワークを提示し、平面スイープボリューム（PSV）から微分可能な3次元幾何ボリューム（3DGV）を構築することで、深度推定と3次元物体検出を同時に最適化する。3次元世界空間における完全に微分可能な幾何と意味的特徴の統合により、DSGNはステレオベースの検出器の中で最先端の性能を達成し、以前の手法よりも約10 APポイント優れており、KITTIのリーダーボードではLiDARベースの手法と同等の性能を示している。

ABSTRACT

Most state-of-the-art 3D object detectors heavily rely on LiDAR sensors because there is a large performance gap between image-based and LiDAR-based methods. It is caused by the way to form representation for the prediction in 3D scenarios. Our method, called Deep Stereo Geometry Network (DSGN), significantly reduces this gap by detecting 3D objects on a differentiable volumetric representation -- 3D geometric volume, which effectively encodes 3D geometric structure for 3D regular space. With this representation, we learn depth information and semantic cues simultaneously. For the first time, we provide a simple and effective one-stage stereo-based 3D detection pipeline that jointly estimates the depth and detects 3D objects in an end-to-end learning manner. Our approach outperforms previous stereo-based 3D detectors (about 10 higher in terms of AP) and even achieves comparable performance with several LiDAR-based methods on the KITTI 3D object detection leaderboard. Our code is publicly available at https://github.com/chenyilun95/DSGN.

研究の動機と目的

• ステレオ画像からの有効な3次元表現学習を可能にすることで、画像ベースとLiDARベースの3次元物体検出の性能差を埋める。
• 2次元画像からの不安定な3次元特徴抽出の課題に対処するため、現実世界の3次元幾何を符号化する微分可能な3次元幾何ボリューム（3DGV）を導入する。
• 点群変換に依存しない、非微分可能でない手法を避けることにより、深度推定と3次元物体検出を1つのエンドツーエンドで学習可能なパイプラインに統合する。
• ステレオベースの手法が幾何に配慮したボリュメトリック表現を用いることで、LiDARベースの検出器と同等の性能を達成できることを示す。

提案手法

• 本手法は、カメラフロスツム空間における平面スイープボリューム（PSV）を構築し、ステレオ対応と視差情報を符号化する。
• その後、三線形補間を用いた微分可能な3次元座標ワープにより、PSVを現実世界の3次元空間における3次元幾何ボリューム（3DGV）に変換する。
• 3DGVは、微分可能で幾何に配慮した特徴表現として機能し、深度と意味的ヒントの両方を保持して3次元検出に利用される。
• 共有バックボーンとエンドツーエンドの誤差逆伝播を用いて、ステレオマッチングと3次元物体検出を同時に最適化する。
• 3DGVは、カメラ投影行列を介して3次元ボクセル位置を2次元画素座標にマッピングする事前に定義された座標ボリュームを用いて構築される。
• 特徴は、投影座標における三線形補間によりPSVから取得され、範囲外の座標は0に設定される。

実験結果

リサーチクエスチョン

• RQ1 微分可能な3次元幾何ボリュームは、2次元画像特徴と3次元世界空間の間を効果的に橋渡しできるか？
• RQ2 ステレオ設定下で深度推定と3次元物体検出を統合的にエンドツーエンドで学習することで、2段階処理または非微分可能パイプラインを上回る性能が得られるか？
• RQ3 幾何に配慮したボリュメトリック表現を用いることで、ステレオベースの手法がどれほどLiDARベースの検出器と同等の性能を達成できるか？
• RQ4 検出精度と学習効率の観点から、3D幾何ボリュームは点群やその他の中間表現と比べてどのように優れているか？

主な発見

• DSGNは、KITTI 3次元物体検出ベンチマークにおいて、以前のステレオベースの3次元物体検出器よりも平均精度（AP）が10ポイント高い結果を達成した。
• 本手法は、KITTI 3次元検出リーダーボードにおいて、特にエイジリティおよび中程度の難易度レベルで、いくつかのLiDARベースの検出器と同等の性能を示した。
• ビア・アイ・ビュー（BEV）検出において、DSGNはハード難易度レベルで最先端のLiDARベースの手法と比較して12 APの差を示した。これは、遮蔽や遠方の物体に対して耐性が低い可能性を示唆している。
• ネットワークは計算的に効率的であり、1台のTesla V100 GPUで動作するため、高価なLiDARセンサの代替としてコスト効率に優れている。
• PSVから3DGVへの微分可能なワープにより、ステレオマッチングと3次元検出の同時最適化が可能となり、特徴の一貫性と予測精度が向上した。
• 定性的な結果では、DSGNが正確な3次元バウンディングボックスと深度マップを生成しているが、近距離・遠距離領域および3メートル以上上では、希な真値深度の監視によるノイズが観察された。