[論文レビュー] A9 Intersection Dataset: All You Need for Urban 3D Camera-LiDAR Roadside Perception

Walter Zimmer, Christian Creß+2 more|arXiv (Cornell University)|Jun 15, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

A9 Intersection Dataset は、複雑な都市交差点におけるレーンサイドからの視点で、4.8k の同期化された高品質な 3D ラベル付き LiDAR ポイントクラウドおよびカメラ画像を提供し、10 個の物体クラスにわたる 57.4k つの手動でラベル付けされた 3D バウンディングボックスを含む。このデータセットは、キャリブレートされたマルチセンサー統合を可能にし、単眼、LiDAR、マルチモーダル 3D 物体検出の最先端のベースラインを提供する。特に、後期統合により、隠蔽や長距離検出といった困難なシナリオにおいて優れたパフォーマンスを達成する。

ABSTRACT

Intelligent Transportation Systems (ITS) allow a drastic expansion of the visibility range and decrease occlusions for autonomous driving. To obtain accurate detections, detailed labeled sensor data for training is required. Unfortunately, high-quality 3D labels of LiDAR point clouds from the infrastructure perspective of an intersection are still rare. Therefore, we provide the A9 Intersection Dataset, which consists of labeled LiDAR point clouds and synchronized camera images. Here, we recorded the sensor output from two roadside cameras and LiDARs mounted on intersection gantry bridges. The point clouds were labeled in 3D by experienced annotators. Furthermore, we provide calibration data between all sensors, which allow the projection of the 3D labels into the camera images and an accurate data fusion. Our dataset consists of 4.8k images and point clouds with more than 57.4k manually labeled 3D boxes. With ten object classes, it has a high diversity of road users in complex driving maneuvers, such as left and right turns, overtaking, and U-turns. In experiments, we provided multiple baselines for the perception tasks. Overall, our dataset is a valuable contribution to the scientific community to perform complex 3D camera-LiDAR roadside perception tasks. Find data, code, and more information at https://a9-dataset.com.

研究の動機と目的

• 都市交差点のシナリオにおける高品質でレーンサイドビューの 3D ラベル付き LiDAR およびカメラデータセットの不足を解消すること。
• 知能輸送システムにおける複雑な 3D パーセプションタスクを支援する包括的でキャリブレート済みかつ多様なデータセットを提供すること。
• 同期化された LiDAR、カメラ、3D ボックスのラベルとトラック ID を用いたマルチモーダル 3D 物体検出の堅牢な評価を可能にすること。
• 既存の A9 データセットに、脆弱な道路利用者を含む交差点の交通シナリオと向上したラベル品質を追加すること。

提案手法

• データセットは、実際の都市交差点に設置されたガントリー橋に取り付けられた2台のレーンサイドカメラと複数の LiDAR を用いて収集された。
• 経験豊富なラベラーが LiDAR ポイントクラウド上で手動で 3D バウンディングボックスをラベリングし、Uターン、追い越し、曲がりなどの複雑な運転行動をカバーした。
• すべてのセンサー間の外部キャリブレーション行列を計算し、正確な 3D から 2D 投影とマルチセンサー統合を可能にした。
• 3 つのパーセプションベースラインを実装した：MonoDet3D（単眼 3D 検出）、PointPillars（LiDAR に基づく検出）、InfraDet3D（カメラと LiDAR 検出の後期統合）。
• InfraDet3D モデルはハンガリアン法を用いて MonoDet3D と PointPillars の検出結果をマッチングし、信頼度に基づく統合による後期統合を実現した。
• A9-Devkit にポストプロセッシングスクリプトをリリースし、異なる視野（FOV）設定に適したデータクリッピングおよび初期統合実験を支援した。

Figure 1 : Two cameras and two LiDARs are used to create the A9 Intersection Dataset. The sensors are mounted on a sign gantry and thus record the central intersection area. Then, the Data Fusion Unit (DFU) process the data streams, which results in a fused digital twin of the road traffic. Furtherm

実験結果

リサーチクエスチョン

• RQ1 カメラと LiDAR を用いたマルチモーダル 3D 物体検出は、都市交差点の複雑なシナリオにおいて単モーダル検出と比べてどのように異なるか？
• RQ2 単眼カメラと LiDAR 検出器の間で後期統合を適用した場合、さまざまな難易度レベルにおける mAP の向上はどの程度か？
• RQ3 隠蔽、距離、点密度は、レーンサイド 3D パーセプションにおける検出パフォーマンスにどのように影響するか？
• RQ4 高品質な 3D ラベルを備えたキャリブレート済みマルチセンサー データセットは、実際の都市環境における 3D 物体検出モデルのロバストネスを向上させられるか？
• RQ5 小さな物体や低照度条件下では、カメラベース検出と LiDAR ベース検出の相対的な強みは何か？

主な発見

• InfraDet3D 後期統合モデルが最高の全体的な mAP を達成し、カメラと LiDAR 検出結果を統合することで検出性能が顕著に向上することを示した。
• LiDAR_North モダリティは Easy 難易度カテゴリで最高の mAP を記録し、LiDAR が長距離および低隠蔽状態のシナリオで優れた性能を発揮することを示した。
• 早期統合を用いた PointPillars は Moderate 難易度レベルで他のモデルを上回り、部分的隠蔽や中距離物体に対して優れたロバストネスを示した。
• MonoDet3D は歩行者などの小さな物体の検出において優れた性能を示し、単眼ビジョンが微細なディテールを解像する利点を示した。
• 早期統合（LiDAR + カメラ）と後期統合（InfraDet3D）の組み合わせにより、全難易度レベルで一貫した高い性能が得られ、マルチセンサー連携の価値を実証した。
• 10 個の多様なクラスにわたる 57.4k 個の 3D ラベルを備えたこのデータセットにより、複雑な都市交通シナリオにおけるパーセプションシステムの包括的評価が可能になった。

Figure 2 : The A9-I Dataset consists of $38,045$ 3D box labels after data fusion, where the CAR class is dominant and $78.2\%$ of the objects are occlusion-free. The 3D box labels show different rotations, which is due to the road traffic in an intersection.