[論文レビュー] BAAI-VANJEE Roadside Dataset: Towards the Connected Automated Vehicle Highway technologies in Challenging Environments of China

Yongqiang Deng, Dengjiang Wang+7 more|arXiv (Cornell University)|May 29, 2021

Advanced Neural Network Applications参考文献 12被引用数 15

ひとこと要約

本稿では、中国の道路沿いスマート基幹局から収集された大規模かつ現実世界のデータセット、BAAI-VANJEE道路沿いデータセットを紹介する。このデータセットには、12クラスにわたる74,000件の3次元および105,000件の2次元オブジェクトアノテーションを含む2,500フレームのLiDARデータと5,000枚のRGB画像が含まれる。本データセットは、多様な天候や照明条件下での高度な2次元／3次元オブジェクト検出およびマルチセンサーフュージョンを可能にし、特に車両の3次元検出において、COCO事前学習と比較して優れた性能（88.62% AP）を示している。

ABSTRACT

As the roadside perception plays an increasingly significant role in the Connected Automated Vehicle Highway(CAVH) technologies, there are immediate needs of challenging real-world roadside datasets for bench marking and training various computer vision tasks such as 2D/3D object detection and multi-sensor fusion. In this paper, we firstly introduce a challenging BAAI-VANJEE roadside dataset which consist of LiDAR data and RGB images collected by VANJEE smart base station placed on the roadside about 4.5m high. This dataset contains 2500 frames of LiDAR data, 5000 frames of RGB images, including 20% collected at the same time. It also contains 12 classes of objects, 74K 3D object annotations and 105K 2D object annotations. By providing a real complex urban intersections and highway scenes, we expect the BAAI-VANJEE roadside dataset will actively assist the academic and industrial circles to accelerate the innovation research and achievement transformation in the field of intelligent transportation in big data era.

研究の動機と目的

• 複雑な現実世界環境における、接続型自動運転高速道路（CAVH）技術のための公開かつ高品質な道路沿い認識データセットの不足に対処すること。
• 現実世界の道路沿いデータを用いた2次元／3次元オブジェクト検出およびマルチセンサーフュージョンモデルの開発とベンチマーク手法の支援。
• 天候、時間帯、交通状況の変化に応じた多様で高品質なアノテーションを提供することで、モデルの耐障害性を向上させること。
• 学術的および産業的研究のための公開可搬で大規模なデータセットを提供することで、インテリジェント輸送システム分野におけるイノベーションを促進すること。

提案手法

• 360°回転式32L-LiDARと4台の90°視野角ネットワークカメラを備えた道路沿いVANJEEスマート基幹局を4.5mの高さに設置し、同期化されたデータ収集を実施。
• 晴れ、曇り、雨、昼間、夜間の各種条件下で、2,500フレームのLiDARデータと5,000フレームのRGB画像を収集。センサ間の時間的同期率は20%。
• 12クラスのオブジェクト（自転車や特殊車両など、中国で一般的だがレアな道路関連エンティティを含む）に対して、完全に手作業で高精度な3次元バウンディングボックスおよび2次元バウンディングボックスのアノテーションを実施。
• 3次元オブジェクト検出モデルの公平な評価を可能にするために、環境条件が多様な1,000フレームの標準化された検証セットを設計。
• 同じ事前学習重みを用いて、COCOおよびBAAI-VANJEEデータセットの両方でSA-SSDを学習・評価し、性能を比較。
• データの信頼性と有用性を確保するため、動画品質、シナリオの多様性、情報セキュリティに焦点を当てた厳密なデータ選別基準を適用。

実験結果

リサーチクエスチョン

• RQ1 多様な環境条件下で、車両ベースのシステムと比較して、道路沿いベースの認識システムのオブジェクト検出性能はどのように異なるか？
• RQ2 高品質でマルチモーダルなアノテーションを備えた公開可能な道路沿いデータセットは、COCOのような汎用データセットと比較して、3次元オブジェクト検出性能を向上させることができるか？
• RQ3 道路沿いLiDARの視界外への検知能力は、搭載センサーよりも遠方または隠蔽状態のオブジェクトをどのように改善するか？
• RQ4 変動する天候や照明条件は、道路沿いデータで学習した2次元および3次元オブジェクト検出モデルの性能にどのように影響を与えるか？
• RQ5 自転車や特殊車両などのレアクラスを含む詳細なマルチクラスアノテーションは、中国の実際の交通環境におけるモデルの汎化性能にどのような影響を与えるか？

主な発見

• BAAI-VANJEEデータセットでは、車両の3次元検出APが88.62%に達した。これは、COCOで学習しBAAI-VANJEEで評価した場合の64.54%のAPと比較して顕著に優れており、ドメイン特化適応の価値を示している。
• 自転車の検出では、BAAI-VANJEEで76.12%のAPを達成したが、COCOではわずか13.42%にとどまり、本データセットが困難な小形・高速移動オブジェクトを的確に捉える有効性を示している。
• 歩行者検出性能は、COCOの4.55%からBAAI-VANJEEの63%に急激に向上した。これは、複雑なシーンにおける小形・低可視性オブジェクトの検出において本データセットの有用性を示している。
• データのうち37.42%が晴れ、11.53%が曇り、27.88%が夜間、23.17%が雨天と、多様な天候および照明条件下での強力な汎化性能を確保している。
• BAAI-VANJEEにおける1フレームあたりのオブジェクト数は、特にLiDARからの距離が20mを超える領域でKITTIと比較して顕著に多く、道路沿いセンシングの視界外優位性を裏付けている。
• LiDARデータにおける車両のサイズ分布は、現実的で正確な範囲（高さ：1.2–2.0m、幅：1.5–2.2m、長さ：3.5–5.5m）を示しており、正確な3次元検出と局所化を支援している。