[論文レビュー] Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud

Xinshuo Weng, Kris Kitani|arXiv (Cornell University)|Mar 23, 2019

Advanced Neural Network Applications参考文献 53被引用数 35

ひとこと要約

この論文は単一画像をモノキュラ深度推定を用いて擬似LiDAR点群へ変換し、LiDARベースのFrustum PointNetsと境界ボックスの整合性を用いてKITTIで最先端の単一画像3D検出を達成する。

ABSTRACT

Monocular 3D scene understanding tasks, such as object size estimation, heading angle estimation and 3D localization, is challenging. Successful modern day methods for 3D scene understanding require the use of a 3D sensor. On the other hand, single image based methods have significantly worse performance. In this work, we aim at bridging the performance gap between 3D sensing and 2D sensing for 3D object detection by enhancing LiDAR-based algorithms to work with single image input. Specifically, we perform monocular depth estimation and lift the input image to a point cloud representation, which we call pseudo-LiDAR point cloud. Then we can train a LiDAR-based 3D detection network with our pseudo-LiDAR end-to-end. Following the pipeline of two-stage 3D detection algorithms, we detect 2D object proposals in the input image and extract a point cloud frustum from the pseudo-LiDAR for each proposal. Then an oriented 3D bounding box is detected for each frustum. To handle the large amount of noise in the pseudo-LiDAR, we propose two innovations: (1) use a 2D-3D bounding box consistency constraint, adjusting the predicted 3D bounding box to have a high overlap with its corresponding 2D proposal after projecting onto the image; (2) use the instance mask instead of the bounding box as the representation of 2D proposals, in order to reduce the number of points not belonging to the object in the point cloud frustum. Through our evaluation on the KITTI benchmark, we achieve the top-ranked performance on both bird's eye view and 3D object detection among all monocular methods, effectively quadrupling the performance over previous state-of-the-art. Our code is available at https://github.com/xinshuoweng/Mono3D_PLiDAR.

研究の動機と目的

• 3D sensingと2D sensingの性能ギャップを埋め、LiDARベースの3D検出器が単一画像で機能するようにする。
• モノキュラ深度推定と画像の持ち上げから擬似LiDAR点群を生成する。
• 擬似LiDARノイズを2D-3D境界ボックス整合性とインスタンスマスク提案で軽減する。
• KITTI BEVと3D指標で最先端の単眼3D検出性能を示す。
• 主要コンポーネント（BBCL、BBCO、インスタンスマスク、密度効果）のアブレーション証拠を提供する。

提案手法

• 入力画像の各ピクセルをモノキュラ深度推定で3Dへ持ち上げ、擬似LiDAR点群を作成する。
• 2Dインスタンスマスクを検出し（境界ボックスではなく）、各提案のために擬似LiDARから点群フラストムを抽出する。
• Frustum PointNetベースのアモーダル3Dオブジェクト検出器を適用して、各フラストムの3D境界ボックスパラメータ（x,y,z,h,w,l,θ）を予測する。
• Bounding Box Consistency Loss (BBCL)を用いて訓練時に2D-3D境界ボックス整合性制約を課す。
• テスト時にはBounding Box Consistency Optimization (BBCO)で予測を refine し、投影された3Dボックスと2D提案間の2D IoUを最大化する。
• オプションとしてTNetコンポーネントを削除し、性能への影響を研究する。

実験結果

リサーチクエスチョン

• RQ1 モノキュラ深度推定を利用して3D物体検出に使える擬似LiDAR表現を作り出せるか。
• RQ2 2Dインスタンスマスクと2D-3D境界ボックス整合性制約は擬似LiDAR下の単眼3D検出を改善するか。
• RQ3 擬似LiDARの密度と3Dボックスの refined はKITTIのBEVおよび3D検出指標にどう影響するか。
• RQ4 BBCLとBBCOによる後処理は訓練とテストでどんな利点をもたらすか。
• RQ5 標準ベンチマークで単眼法はLiDARベースの3D検出性能にどれだけ近づけるか。

主な発見

手法	入力	AP_BE V_Easy_IoU0.5	AP_BE V_Moderate_IoU0.5	AP_BE V_Hard_IoU0.5	AP_3D_Easy_IoU0.5	AP_3D_Moderate_IoU0.5	AP_3D_Hard_IoU0.5	AP_BE V_Easy_IoU0.7	AP_BE V_Moderate_IoU0.7	AP_BE V_Hard_IoU0.7	AP_3D_Easy_IoU0.7	AP_3D_Moderate_IoU0.7	AP_3D_Hard_IoU0.7
Mono3D	モノキュラー	30.5	22.4	19.2	5.2	5.2	4.1	30.0	23.8	18.8	10.0	7.7	5.3
Deep3DBox	モノキュラー	30.0	23.8	18.8	10.0	7.7	5.3	30.0	23.8	18.8	10.0	7.7	5.3
MLF-MONO	モノキュラー	55.0	36.7	31.3	22.0	13.6	11.6	70.8	49.4	42.7	40.6	26.3	22.9
ROI-10D	モノキュラー	46.9	34.1	30.5	14.5	9.9	8.7	46.9	34.1	30.5	14.5	9.9	8.7
MonoGRNet	モノキュラー	-	50.5	-	-	-	-	-	-	-	-	-	-
PL-MONO	モノキュラー	70.8	49.4	42.7	22.0	13.6	11.6	40.6	26.3	22.9	18.5	-	-
Ours	モノキュラー	72.1	53.1	44.6	68.4	48.3	43.0	41.9	28.3	24.5	31.5	21.0	17.5

• 本手法はKITTIの単眼手法の中でAP_BE VとAP_3Dがトップクラスを獲得し、従来技術より大幅に改善した。
• 車両のIoU 0.5で、AP_3Dは従来の状態から5.7%から21.0%へ改善した。
• IoU 0.5でのBEVおよび3D指標は Ours が Easyで72.1%と68.4%、Moderateで53.1%と48.3%、Hardで44.6%と43.0%となる。
• BBCLとBBCOはIoU 0.5および0.7で3D検出のEasy/Moderate/Hard全体でベースライン＋PLiDARより大幅な改善を提供する。
• 2D提案のインスタンスマスクを使用することで擬似LiDARのフラストムの尾部アーティファクトを減らし、3Dサイズ推定を改善する。
• TNetを削除すると混合的な結果となり、いくつかのIoU0.7指標を若干改善することもあるが、全体としては完全な設計には及ばない。