[論文レビュー] Multimodal Virtual Point 3D Detection

Tianwei Yin, Xingyi Zhou+1 more|arXiv (Cornell University)|Nov 12, 2021

Advanced Optical Sensing Technologies被引用数 127

ひとこと要約

本論文は MVP を提案する。これはプラグアンドプレイの手法で、2D RGB 検出を密集した 3D の仮想点へと引き上げ、疎な LiDAR データを補強し、nuScenes で CenterPoint ベースの 3D 検出をアンサンブルなしで 6.6 mAP 向上させる。

ABSTRACT

Lidar-based sensing drives current autonomous vehicles. Despite rapid progress, current Lidar sensors still lag two decades behind traditional color cameras in terms of resolution and cost. For autonomous driving, this means that large objects close to the sensors are easily visible, but far-away or small objects comprise only one measurement or two. This is an issue, especially when these objects turn out to be driving hazards. On the other hand, these same objects are clearly visible in onboard RGB sensors. In this work, we present an approach to seamlessly fuse RGB sensors into Lidar-based 3D recognition. Our approach takes a set of 2D detections to generate dense 3D virtual points to augment an otherwise sparse 3D point cloud. These virtual points naturally integrate into any standard Lidar-based 3D detectors along with regular Lidar measurements. The resulting multi-modal detector is simple and effective. Experimental results on the large-scale nuScenes dataset show that our framework improves a strong CenterPoint baseline by a significant 6.6 mAP, and outperforms competing fusion approaches. Code and more visualizations are available at https://tianweiy.github.io/mvp/

研究の動機と目的

• LiDAR が長距離で疎になりがちな自動運転における 3D 視認性の改善を動機づける。
• 2D 検出から派生した Dense な仮想点で LiDAR を補強する、シンプルでプラグアンドプレイな融合スキームを提案する。
• backbone を変更することなく、入力特徴表現を変更して既存の 3D 検出器へシームレスに統合できるようにする。
• Dense な仮想点が、特に小さく遠い物体の検出精度を向上させることを、大規模データセットで実証する。

提案手法

• CenterNet2 の 2D インスタンスマスクから検出対象ごとに n 個 τ の仮想点を生成する。
• LiDAR 点を RGB カメラ座標系へ投影して、各 2D 検出ごとにフラストム Fj を形成する。
• 各インスタンスマスク内の τ 個の 2D 点をサンプリングし、 Fj 内で最も近い LiDAR 投影から深度を割り当てる。
• サンプリング点を深度を用いて 3D へ再投影し、物体のセマンティック特徴を付加して仮想点を形成する。
• 仮想点を実際の LiDAR 点と結合する際、仮想点特徴と実点特徴を個別に平均化してから CenterPoint 風のバックボーンへ入力する。
• オプションとして、第2段階のリファインメントを用い、表面中心特徴を活用してローカライゼーションを改善する。

実験結果

リサーチクエスチョン

• RQ1 2D 検出から生成された dense な 3D 仮想点は、都市景観における LiDAR ベースの 3D 検出器を有意に改善できるか。
• RQ2 MVP は Ensemble や TTA なしで既存のバックボーン（VoxelNet、PointPillars）および検出器（CenterPoint）とどのように相互作用するか。
• RQ3 2D 検出品質と深度推定精度の変動に対して MVP はどれくらい頑健か。
• RQ4 nuScenes における物体距離（近・遠）およびカテゴリごとにどのような利得が得られるか。

主な発見

Method	mAP	NDS	Car	Truck	Bus	Trailer	CV	Ped	Motor	Bicycle	TC	Barrier
PointPillars [23]	30.5	45.3	68.4	23.0	28.2	23.4	4.1	59.7	27.4	1.1	30.8	38.9
WYSIWYG [19]	35.0	41.9	79.1	30.4	46.6	40.1	7.1	65.0	18.2	0.1	28.8	34.7
3DSSD [62]	42.6	56.4	81.2	47.2	61.4	30.5	12.6	70.2	36.0	8.6	31.1	47.9
PMPNet [65]	45.4	53.1	79.7	33.6	47.1	43.1	18.1	76.5	40.7	7.9	58.8	48.8
PointPainting [52]	46.4	58.1	77.9	35.8	36.2	37.3	15.8	73.3	41.5	24.1	62.4	60.2
CBGS [76]	52.8	63.3	81.1	48.5	54.9	42.9	10.5	80.1	51.5	22.3	70.9	65.7
CVCNet [4]	55.3	64.4	82.7	46.1	46.6	49.4	22.6	79.8	59.1	31.4	65.6	69.6
HotSpotNet [5]	59.3	66.0	83.1	50.9	56.4	53.3	23.0	81.3	63.5	36.6	73.0	71.6
CenterPoint [66]	58.0	65.5	84.6	51.0	60.2	53.2	17.5	83.4	53.7	28.7	76.7	70.9
MVP (Ours)	66.4	70.5	86.8	58.5	67.4	57.3	26.1	89.1	70.0	49.3	85.0	74.8

• MVP は nuScenes の強力な CenterPoint ベースラインを 6.6 mAP 向上させる。
• MVP は アンサンブルなしで 66.4 mAP と 70.5 NDS を達成し、提出時点で nuScenes の非アンサンブル手法を上回る。
• 密な仮想点は小さな物体に対して大きな利得を生み出す（例: 小型物体で +11 mAP、Bicycle で +20.6、motorcycle で +16.3）。
• 2D のみの検出器と比較して、2D CenterNet は 2D 的な位置決めで CenterPoint を 9.8 mAP 上回っており、3D 検出における高解像度 RGB 手掛かりの価値を示している。
• アブレーションでは、仮想点のみでも有意な利得を示す（VoxelNet で 6.3 mAP、PointPillars で 10.4 mAP）；2 段階のリファインメントでさらに改善（約 1.1 mAP、約 0.8 NDS）。
• KITTI では MVP が測定可能な利得を提供（Car で 0.5 mAP、Cyclist で 2.3 mAP）、一般化を示す。