[論文レビュー] TUMTraf V2X Cooperative Perception Dataset

Walter Zimmer, Gerhard Arya Wardana+4 more|arXiv (Cornell University)|Mar 2, 2024

Brain Tumor Detection and Classification被引用数 4

ひとこと要約

本稿では、2,000枚のラベル付き点群と5,000枚の画像を含む大規模なV2X協調認識データセットTUMTraf-V2Xを紹介する。5台のレーンサイドセンサと4台の車載センサから得られたデータは、ニアミスやUターンなどの困難な状況を含み、30,000個の3次元バウンディングボックスとトラックIDを有する。本稿では、車両のみの認識に比べ+14.36の3D mAPを達成する多モーダルカメラ-LiDAR統合モデルCoopDet3Dを提案し、データセット、アノテーションツール、dev-kit、コードを公開する。

ABSTRACT

Cooperative perception offers several benefits for enhancing the capabilities of autonomous vehicles and improving road safety. Using roadside sensors in addition to onboard sensors increases reliability and extends the sensor range. External sensors offer higher situational awareness for automated vehicles and prevent occlusions. We propose CoopDet3D, a cooperative multi-modal fusion model, and TUMTraf-V2X, a perception dataset, for the cooperative 3D object detection and tracking task. Our dataset contains 2,000 labeled point clouds and 5,000 labeled images from five roadside and four onboard sensors. It includes 30k 3D boxes with track IDs and precise GPS and IMU data. We labeled eight categories and covered occlusion scenarios with challenging driving maneuvers, like traffic violations, near-miss events, overtaking, and U-turns. Through multiple experiments, we show that our CoopDet3D camera-LiDAR fusion model achieves an increase of +14.36 3D mAP compared to a vehicle camera-LiDAR fusion model. Finally, we make our dataset, model, labeling tool, and dev-kit publicly available on our website: https://tum-traffic-dataset.github.io/tumtraf-v2x.

研究の動機と目的

• インfraストラクチャおよび車両センサを用いた協調的3次元物体検出と追跡を支援する高品質で現実世界のV2X認識データセットの不足に対処すること。
• レーンサイドおよび車載センサのデータ統合により、自動運転における状況認識の向上とオクルージョンの低減を図ること。
• 単一視点認識システムを上回る、強固な多モーダル協調検出モデルの開発。
• OpenLABEL形式での標準化されたデータセット、アノテーションツール、dev-kitの公開により、再現可能な研究を可能にすること。
• 夜間のシーンや交通違反を含む多様な交通状況を想定したデータを提供し、将来的な協調認識研究を支援すること。

提案手法

• データセットは、ドイツの都市交差点で実際の状況を想定し、5台のレーンサイドセンサと4台の車載センサ（LiDAR、カメラ、GPS、IMUを含む）を用いて収集された。
• 2,000枚の点群と5,000枚の画像に、8つの物体カテゴリの3次元バウンディングボックスとトラックIDがアノテーションされ、合計30,000件のインスタンスがカバーされた。
• 多モーダルV2Xデータのラベル付けに特化したカスタム3次元バウンディングボックスアノテーションツール（3D BAT v24.3.2）を開発した。
• CoopDet3Dは3段階の統合モデルである：(1) BEV特徴抽出によるレーンサイドカメラ-LiDAR統合、(2) コンボリューショナルファーザを用いた車両カメラ-LiDAR統合、(3) 車両およびインfraストラクチャ特徴のマックスプーリングによる統合。
• 最終的な3次元バウンディングボックス予測は、TransFusion 3D検出ヘッドを用いて生成される。
• OpenLABEL形式でのアノテーションの読み込み、可視化、変換、評価を可能にするdev-kitを提供し、既存ツールとのシームレス統合を支援する。

Figure 1 : Our CoopDet3D framework is a multi-modal cooperative fusion system, comprising three distinct fusion pipelines. 1) The roadside camera-LiDAR fusion pipeline fuses three camera images and one LiDAR point cloud by extracting features and transforming them into a BEV representation. 2) The v

実験結果

リサーチクエスチョン

• RQ1 レーンサイドおよび車両センサを用いた協調認識は、車両のみの認識に比べ、3次元物体検出性能をどのように向上させるか？
• RQ2 インfraストラクチャおよび車両の両方の視点からカメラとLiDARの多モーダル統合が、検出精度に与える影響は何か？
• RQ3 CoopDet3Dモデルは、オクルージョンやニアミスイベントを含む多様な交通状況において、どれほど一般化性能を示すか？
• RQ4 標準化されたオープンソースデータセットおよびツールチェーンは、協調的V2X認識分野における再現可能でスケーラブルな研究を可能にするか？
• RQ5 現在の協調認識モデルは、センサの非同期性やリアルタイムデプロイメント制約に対処する上で、どのような限界を有するか？

主な発見

• CoopDet3Dは、車両のみのカメラ-LiDAR統合モデルに比べ+14.36の3D mAPを達成し、インfraストラクチャベースの認識の利点を示した。
• モデルは、日中および夜間の両方の条件下で、交通違反や重度のオクルージョンを含む困難な状況においても、単一視点ベースラインを上回った。
• クロスモーダルトランスフォーマーを基盤とするCoopCMTモデルは、CoopDet3Dよりも高いmAPを達成したが、モデルの複雑性が高いため推論遅延が増加した。
• データセットには、2,000枚の点群と5,000枚の画像が含まれ、30,380個の3次元バウンディングボックスを有し、8つの物体クラスと10種類の多様な交通行動がカバーされた。
• dev-kitは、ラベル変換、可視化、OpenLABEL標準フォーマットでの評価を含む、フルパイプラインのサポートを可能にした。
• 失敗事例から、悪天候やセンサの非同期性の課題が明らかになった。今後の研究では、耐障害性およびリアルタイム同期化の向上が求められる。

Figure 2 : Demonstration of a possible V2X occlusion scenario. A pedestrian (blue) is crossing the road in front of the ego vehicle. An occluded bicycle is marked in red. The recording vehicle with the sensor setup is shown in the bottom left corner.