[論文レビュー] V2X-Seq: A Large-Scale Sequential Dataset for Vehicle-Infrastructure Cooperative Perception and Forecasting

Haibao Yu, Wenxian Yang+12 more|arXiv (Cornell University)|May 10, 2023

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

V2X-Seqは、自動運転における車両-インfraストラクチャ協調（VIC）認識および予測のための、初めての大規模で現実世界の順序付きデータセットを提供する。認識には15,000フレーム、軌道予測には210,000のシナリオが含まれ、合計672時間のデータをカバーする。本研究では、VIC3Dトラッキング、オンライン-VIC予測、オフライン-VIC予測の3つの新規タスクとベンチマークを提案し、インフラストラクチャデータを統合することでトラッキングおよび予測性能が向上することを示した。FF-Trackingは、300msの遅延条件下でも、初期統合手法に比べて最大4%のMOTA向上を達成した。

ABSTRACT

Utilizing infrastructure and vehicle-side information to track and forecast the behaviors of surrounding traffic participants can significantly improve decision-making and safety in autonomous driving. However, the lack of real-world sequential datasets limits research in this area. To address this issue, we introduce V2X-Seq, the first large-scale sequential V2X dataset, which includes data frames, trajectories, vector maps, and traffic lights captured from natural scenery. V2X-Seq comprises two parts: the sequential perception dataset, which includes more than 15,000 frames captured from 95 scenarios, and the trajectory forecasting dataset, which contains about 80,000 infrastructure-view scenarios, 80,000 vehicle-view scenarios, and 50,000 cooperative-view scenarios captured from 28 intersections' areas, covering 672 hours of data. Based on V2X-Seq, we introduce three new tasks for vehicle-infrastructure cooperative (VIC) autonomous driving: VIC3D Tracking, Online-VIC Forecasting, and Offline-VIC Forecasting. We also provide benchmarks for the introduced tasks. Find data, code, and more up-to-date information at \href{https://github.com/AIR-THU/DAIR-V2X-Seq}{https://github.com/AIR-THU/DAIR-V2X-Seq}.

研究の動機と目的

• 自動運転分野における車両-インフラストラクチャ協調（VIC）認識および予測のための現実世界の順序付きデータセットが不足しているという問題に対処する。
• 同期されたマルチモodalデータを備えた大規模で現実世界のデータセットを提供することで、協調トラッキングおよび行動予測に関する研究を可能にする。
• VIC3Dトラッキング、オンライン-VIC予測、オフライン-VIC予測の3つの新規タスクを導入し、VICベースの自動運転システムの発展を促進する。
• 28の交差点から得た672時間の現実世界データを用いて、VIC認識および予測モデルの公平なベンチマークを確立する。
• 変動する遅延条件下でも高いロバストネスを示す、新規のFF-Trackingフレームワークを構築・検証する。

提案手法

• 95の現実世界のシナリオから構成される大規模な順序付きV2Xデータセット（V2X-Seq）を収集・アノテーション処理し、インフラストラクチャおよび車両側の画像、点群、3次元検出結果、ベクターマップ、信号機の状態を含む。
• 3つの新規タスク（VIC3Dトラッキング（協調的3次元オブジェクトトラッキング）、オンライン-VIC予測（リアルタイムの行動予測、ライブなインフラストラクチャおよびエゴ車両データを活用）、オフライン-VIC予測（履歴インフラストラクチャデータからの知識蒸留））を設計・実装する。
• 特徴レベルで車両およびインフラストラクチャ入力を統合する、後期統合ベースのフレームワークであるFF-Trackingを提案し、トラッキング精度および遅延ロバストネスを向上させる。
• PP-VICを構築し、インフラストラクチャおよびエゴ車両の軌道を統合した後、TNT や HiVT などの軌道モデルに供給する階層的認識-予測フレームワークを設計する。
• オフライン予測のための汎用的知識を抽出するために、80,000件のインフラストラクチャビュー軌道で事前学習した軌道予測モデル（TNT、HiVT）を構築する。
• 軌道予測データセットに対して、5:2:3のトレーニング/バリデーション/テスト分割を採用し、すべてのベースラインおよび提案手法の公平な評価を保証する。

Figure 1 : Autonomous driving datasets. V2X-Seq is the first large-scale, real-world, and sequential V2X dataset. The green circle denotes the real-world dataset, and the pink triangle denotes the simulated dataset. The abscissa represents the number of sequences.

実験結果

リサーチクエスチョン

• RQ1 インフラストラクチャデータは、協調認識システムにおける3次元オブジェクトトラッキングの精度およびロバストネスを顕著に向上させるか？
• RQ2 エゴ車両のみのモデルと比較して、リアルタイムでインフラストラクチャ軌道にアクセスできることで、オンライン軌道予測性能はどの程度向上するか？
• RQ3 履歴インフラストラクチャ軌道から抽出した知識は、オフライン軌道予測性能を向上させるか？
• RQ4 FF-Trackingフレームワークは、遅延条件が変動する状況下で、初期統合ベースラインと比較してトラッキング性能はどの程度優れているか？
• RQ5 インフラストラクチャ専用軌道での事前学習は、下流の予測モデルの一般化性能を向上させる影響があるか？

主な発見

• FF-Trackingフレームワークは、300msの遅延条件下で初期統合手法に比べ最大4%のMOTA向上を達成し、通信遅延に対する優れたロバストネスを示した。
• 200msの遅延条件下でも、FF-Trackingは最良のトラッキング性能を達成し、リアルタイム協調認識における有効性を裏付けた。
• オンラインインフラストラクチャ軌道を活用することで、エゴ車両のみのベースラインと比較して、minADEがTNTで3.74、HiVTで0.28低下し、リアルタイム予測における価値を実証した。
• 80,000件のインフラストラクチャビュー軌道で事前学習した結果、TNTではminADEが7.65、HiVTでは0.03低下し、オフライン知識抽出の利点を示した。
• PP-VICフレームワークは、エゴ車両のみのモデルと比較して、より低いminADEおよびminFDEを達成し、インフラストラクチャと車両の軌道を統合することで予測精度が向上することを確認した。
• V2X-Seqデータセットは、50,000件の協調ビューのシナリオと672時間のデータを備え、初めての大規模で現実世界のVIC認識および予測の評価を可能にした。これにより、分野における新たなベンチマークが確立された。

Figure 2 : Total number and average tracking length of 3D tracked objects per category for the sequential perception dataset (SPD). The distribution of tracked objects is relatively balanced.