[論文レビュー] Ground Plane Matters: Picking Up Ground Plane Prior in Monocular 3D Object Detection

Fan Yang, Xinhao Xu+5 more|arXiv (Cornell University)|Nov 3, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、地面接触点と水平線推定を活用して地面平面を正確にモデル化する単眼3次元物体検出ネットワーク、GPENetを提案する。これにより、投影点の局所化と地面平面の傾きに関する重要な問題が解決される。疑似ラベル化された接触点と水平線を用いた動的バックプロジェクションにより、KITTIおよびnuScenesで最先端の性能を達成し、全距離範囲において3次元バウンディングボックスの精度と深度推定が顕著に向上する。

ABSTRACT

The ground plane prior is a very informative geometry clue in monocular 3D object detection (M3OD). However, it has been neglected by most mainstream methods. In this paper, we identify two key factors that limit the applicability of ground plane prior: the projection point localization issue and the ground plane tilt issue. To pick up the ground plane prior for M3OD, we propose a Ground Plane Enhanced Network (GPENet) which resolves both issues at one go. For the projection point localization issue, instead of using the bottom vertices or bottom center of the 3D bounding box (BBox), we leverage the object's ground contact points, which are explicit pixels in the image and easy for the neural network to detect. For the ground plane tilt problem, our GPENet estimates the horizon line in the image and derives a novel mathematical expression to accurately estimate the ground plane equation. An unsupervised vertical edge mining algorithm is also proposed to address the occlusion of the horizon line. Furthermore, we design a novel 3D bounding box deduction method based on a dynamic back projection algorithm, which could take advantage of the accurate contact points and the ground plane equation. Additionally, using only M3OD labels, contact point and horizon line pseudo labels can be easily generated with NO extra data collection and label annotation cost. Extensive experiments on the popular KITTI benchmark show that our GPENet can outperform other methods and achieve state-of-the-art performance, well demonstrating the effectiveness and the superiority of the proposed approach. Moreover, our GPENet works better than other methods in cross-dataset evaluation on the nuScenes dataset. Our code and models will be published.

研究の動機と目的

• 単眼3次元物体検出（M3OD）において、強力な幾何的事前知識を提供するにもかかわらず、しばしば無視されがちな地面平面幾何の活用不足を是正すること。
• 曖昧な3次元ボックスの底面頂点に代えて、明確で意味的に意味のある地面接触点を用いることで、投影点の局所化問題を解決すること。
• 動的な道路およびエゴ車両の運動によって引き起こされる地面平面の傾き問題を解消すること。これにより、固定された地面平面の仮定が無効になるのを防ぐ。
• 追加のデータ収集を伴わずに、M3ODアノテーションから疑似ラベルを生成することで、単眼検出アノテーションのみを用いて正確な3次元物体局所化を可能にすること。
• 正確な地面平面幾何に基づいた動的バックプロジェクション手法を用いて、3次元バウンディングボックスの回帰と深度推定の精度を向上させること。

提案手法

• 本手法は、3次元ボックスの底面頂点よりも意味的に整合性が高く、局所化が容易な、明示的な2次元監視信号としての地面接触点を導入する。
• 遮蔽下でも頑健性を高めるために、新規の非教師あり垂直エッジ抽出アルゴリズムを用いて画像内の水平線を推定する。
• 数学的定式化により、推定された水平線とカメラパラメータから地面平面の方程式を導出し、地面平面の傾きを動的にモデル化可能にする。
• 推定された地面平面と接触点を用いた動的バックプロジェクションアルゴリズムにより、3次元物体位置の再構築が行われ、空間的精度が向上する。
• 接触点および水平線の疑似ラベルは、M3ODアノテーションから自動的に生成され、追加のアノテーションの必要がなくなる。
• これらのコンponentsを統合した統一されたネットワーク、GPENetを、標準的なM3ODの監視信号を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 地面接触点を、3次元ボックスの底面頂点よりも信頼性が高く意味的に意味のある基準として、3次元物体局所化にどのように活用できるか？
• RQ2 水平線推定は、動的で自律走行のシーンにおける地面平面の傾きモデリングに、どの程度寄与するか？
• RQ3 追加のアノテーションなしに、正確な地面平面幾何を活用して、単眼検出における3次元バウンディングボックス回帰と深度推定を向上させることは可能か？
• RQ4 提案手法は、KITTIで学習しnuScenesでテストした場合を含め、異なるデータセット間でどのように一般化するか？
• RQ5 非教師あり垂直エッジ抽出が、遮蔽が強い状況下でも水平線検出の頑健性にどのような影響を与えるか？

主な発見

• GPENetはKITTIベンチマークで最先端の性能を達成し、車両カテゴリのマイルドレベルで17.35%のAP40を記録し、先行手法を顕著に上回る。
• nuScenesデータセットでは、[0,20)距離範囲における深度予測の平均誤差を0.72mまで低減し、すべてのベースラインを上回る。
• 地面接触点を投影点として用いることで、マイルドな車両カテゴリでAP40が8.65ポイント上昇（8.70%から17.35%に）した。
• 非教師あり垂直エッジ抽出手法により、障害物に覆われた場合でも水平線検出が頑健に実行可能であることが確認された。
• 正確な接触点と地面平面推定に基づいた動的バックプロジェクション手法により、遠方物体に対して特に高精度な3次元バウンディングボックスが得られた。
• クロスデータセット評価により、GPENetの優れた一般化性能が確認され、KITTIおよびnuScenesの両方の検証セットで一貫した改善効果が得られた。