[論文レビュー] BLVD: Building A Large-scale 5D Semantics Benchmark for Autonomous Driving

Jianru Xue, Jianwu Fang+5 more|arXiv (Cornell University)|Mar 15, 2019

Advanced Neural Network Applications参考文献 27被引用数 15

ひとこと要約

本論文は、静的3次元検出やセグメンテーションをはるかに超える高度なタスクを可能にする、自律走行のための大規模な5次元意味的ベンチマークであるBLVDを紹介する。4次元トラッキング、5次元インタラクティブイベント認識、5次元意思決定予測を含む。ベンチマークは、249,129個の3次元アノテーション、214,922ポイントにわたる4,902のトラッキングインスタンス、6,004個のイベント認識断片、4,900個の意思決定予測サンプルを含み、昼間／夜間、都市部／高速道路、低密度／高密度といった多様な条件下で収集された、同期されたLiDAR、カメラ、GPS/IMUデータを備え、動的シーン理解のためのエンドツーエンド学習を支援する。

ABSTRACT

In autonomous driving community, numerous benchmarks have been established to assist the tasks of 3D/2D object detection, stereo vision, semantic/instance segmentation. However, the more meaningful dynamic evolution of the surrounding objects of ego-vehicle is rarely exploited, and lacks a large-scale dataset platform. To address this, we introduce BLVD, a large-scale 5D semantics benchmark which does not concentrate on the static detection or semantic/instance segmentation tasks tackled adequately before. Instead, BLVD aims to provide a platform for the tasks of dynamic 4D (3D+temporal) tracking, 5D (4D+interactive) interactive event recognition and intention prediction. This benchmark will boost the deeper understanding of traffic scenes than ever before. We totally yield 249,129 3D annotations, 4,902 independent individuals for tracking with the length of overall 214,922 points, 6,004 valid fragments for 5D interactive event recognition, and 4,900 individuals for 5D intention prediction. These tasks are contained in four kinds of scenarios depending on the object density (low and high) and light conditions (daytime and nighttime). The benchmark can be downloaded from our project site https://github.com/VCCIV/BLVD/.

研究の動機と目的

• 自律走行分野における大規模で時間的に整合性があり、インタラクティブな5次元意味的ベンチマークの不足に対処すること。
• 静的3次元検出や意味的セグメンテーションをはるかに超えた、動的交通シーンのより深い理解を可能にすること。
• 標準化されたメトリクスを用いて、4次元トラッキング、5次元インタラクティブイベント認識、5次元意思決定予測を統合的に評価できる統一プラットフォームを提供すること。
• 多様な実世界の走行条件下で、高品質で同期されたマルチセンサデータ（LiDAR、カメラ、GPS/IMU）を収集・アノテーションすること。
• 3次元検出、トラッキング、イベント認識、意思決定予測を1つのベンチマークフレームワークに統合することで、エンドツーエンド学習パイプラインを支援すること。

提案手法

• 本ベンチマークは、Velodyne HDL-64E LiDAR、二重高解像度カメラ（1920×500）、GPS/IMUシステムを搭載した自律走行プラットフォームを用いて構築され、すべて自動的に同期・キャリブレーションされている。
• 高速なオンラインキャリブレーション手法により、12万フレームにわたるLiDARとカメラデータの正確な登録が可能となり、10Hzで完全な同期が達成された。
• 249,129インスタンスに対して3次元ボクシングボックスがアノテーションされ、多様なシナリオにわたって214,922の軌跡ポイントにわたる4,902人の個体がトラッキングされた。
• 5次元インタラクティブイベントは6,004断片に対してアノテーションされ、エゴ車両とのオブジェクト相互作用、イベント状態、幾何的構造を含む。
• 意思決定予測は、LSTMベースのネットワークを用いて、5～10ステップ先の3次元ボクシングボックスの位置、姿勢、イベント状態を予測する。
• 評価メトリクスには、位置のADEとFDE、姿勢のADEとFDE、3次元ボックスオーバーラップ（PASCAL VOC基準）を用い、IoUが50％未満の場合に誤検出をペナルティ化するδが含まれる。

実験結果

リサーチクエスチョン

• RQ1 自律走行における動的4次元トラッキングおよび5次元インタラクティブイベント認識を支援する大規模な5次元意味的ベンチマークをどのように構築できるか？
• RQ2 完全な5次元アノテーションを用いて、多様で現実世界の走行シナリオで学習された意思決定予測モデルの性能限界は何か？
• RQ3 5次元意思決定予測タスクにおいて、観測および予測の時間窓が異なる場合、予測精度と誤差はどのように変化するか？
• RQ4 イベント状態および3次元幾何を含む5次元意味的情報の統合が、自律走行の認識システムのロバストネスをどの程度向上させるか？
• RQ5 3次元検出、トラッキング、イベント認識、意思決定予測を統合した統一ベンチマークは、モデルの汎化性能およびタスク間転送能力を向上させることができるか？

主な発見

• 5ステップの観測と5ステップの予測を想定した5次元意思決定予測モデルでは、歩行者の軌跡に対して平均変位誤差（ADE）が0.34メートル、最終変位誤差（FDE）が0.49メートルを記録した。
• 車両についても、同じ5-5予測設定下でADEが0.47メートル、FDEが0.69メートルを達成し、中程度ながらも安定した性能を示した。
• より長い予測時間窓（例：10-10）では誤差が増加し、車両のFDEは1.12メートルに達した。これは時間経過に伴い不確実性が増加することを示している。
• 10ステップの観測と5ステップの予測を組み合わせた10-5予測設定では、車両のADEが0.38メートル、FDEが0.57メートルに低下し、観測シーケンスが長くなることで精度が向上することを示した。
• 3次元ボックスオーバーラップ指標（s(V, V̂)）とコサインペナルティを用いた姿勢誤差の評価により、幾何的および方向的予測精度の評価が向上した。
• 本ベンチマークはマルチモーダル評価をサポートしており、イベント状態予測のための正確性、再現率、平均適合度（AP）を含み、インタラクティブ行動理解の包括的評価が可能になった。