[論文レビュー] METEOR: A Massive Dense & Heterogeneous Behavior Dataset for Autonomous Driving.

Rohan Chandra, Mridul Mahajan+5 more|arXiv (Cornell University)|Sep 16, 2021

Autonomous Vehicle Technology and Safety参考文献 30被引用数 9

ひとこと要約

METEOR は、1,000 以上の 1 分間の動画クリップ、200 万フレーム以上のアノテート済みフレーム、1,300 万以上のバウンディングボックスを含む大規模で高密度かつ多様性に富んだ交通データセットであり、インドにおける複雑で非構造的な運転行動を捉えている。オブジェクト検出および行動予測のベンチマークを可能にし、最先端モデルの限界を明らかにするとともに、70.74 のベースライン mAP を有する新しい行動予測ベンチマークを確立した。

ABSTRACT

We present a new and complex traffic dataset, METEOR, which captures traffic patterns in unstructured scenarios in India. METEOR consists of more than 1000 one-minute video clips, over 2 million annotated frames with ego-vehicle trajectories, and more than 13 million bounding boxes for surrounding vehicles or traffic agents. METEOR is a unique dataset in terms of capturing the heterogeneity of microscopic and macroscopic traffic characteristics. Furthermore, we provide annotations for rare and interesting driving behaviors such as cut-ins, yielding, overtaking, overspeeding, zigzagging, sudden lane changing, running traffic signals, driving in the wrong lanes, taking wrong turns, lack of right-of-way rules at intersections, etc. We also present diverse traffic scenarios corresponding to rainy weather, nighttime driving, driving in rural areas with unmarked roads, and high-density traffic scenarios. We use our novel dataset to evaluate the performance of object detection and behavior prediction algorithms. We show that state-of-the-art object detectors fail in these challenging conditions and also propose a new benchmark test: action-behavior prediction with a baseline mAP score of 70.74.

研究の動機と目的

• 開発国における特に複雑で非構造的な交通行動を包括的に捉えるデータセットの不足に対処すること。
• 切込、急な車線変更、信号無視などの多様でレアな運転行動を収集・アノテートすること。
• 極端で現実的である運転条件下でのオブジェクト検出および行動予測アルゴリズムの評価を支援すること。
• 標準化された評価プロトコルとベースラインパフォーマンス指標を備えた、新しいアクション・行動予測ベンチマークを確立すること。
• 農村部、夜間、雨天、高密度交通状況を含む多様なシナリオで訓練・テストすることで、自律走行システムの耐性を高めること。

提案手法

• 農村部、都市部、高密度交通状況を含む、インドの実際の交通環境から 1,000 以上の 1 分間の動画クリップを収集。
• 200 万フレームにわたる 1,300 万以上の交通参加者に対して、エゴ車両の軌道とバウンディングボックスを手動でアノテート。
• 切込、譲り、追い越し、速度超過、ジグザグ走行、逆走、信号無視などのレアで複雑な行動を含む。
• 夜間、雨天、マークのない農村道路などの困難な環境的要因を組み込む。
• 本データセットを用いてアクション・行動予測の新しいベンチマークを設計し、平均平均精度（mAP）を用いて評価。
• METEOR データセット上で最先端モデルを用いて、アクション・行動予測のベースライン mAP スコアを 70.74 として確立。

実験結果

リサーチクエスチョン

• RQ1 最先端のオブジェクト検出器は、稀で攻撃的な運転行動を示す複雑で多様性に富んだ交通状況で、どの程度の性能を示すか？
• RQ2 既存の行動予測モデルは、弱いか完全に存在しない交通ルールが適用される非構造的交通環境にどの程度一般化できるか？
• RQ3 METEOR のような大規模かつ多様なデータセットを用いて、アクション・行動予測の新しいベンチマークを効果的に確立できるか？
• RQ4 雨天、夜間、マークのない道路といった環境要因が、認識および予測システムのパフォーマンスにどのように影響を与えるか？
• RQ5 現実世界の状況において、稀で高リスクの運転行動にさらされた際の、現在のモデルの主な失敗モードは何か？

主な発見

• 最先端のオブジェクト検出器は、夜間、雨天、高密度交通状況といった困難な条件下で顕著な性能低下を示す。
• 提案された METEOR データセットは、切込、急な車線変更、信号無視など、既存のデータセットに不足している多様で複雑な行動を広く捉えている。
• METEOR におけるアクション・行動予測のベースライン mAP スコアは 70.74 であり、今後の研究の新しいベンチマークを確立した。
• データセットは、明確な交通ルールがない非構造的環境において、現在のモデルが認識および行動予測に苦戦することを明らかにした。
• 農村部やマークのない道路シナリオではパフォーマンスが著しく低下しており、認識システムの耐性向上の必要性が示された。
• METEOR のシナリオおよび行動の多様性は、現在の自律走行システムにおける深刻なギャップを露呈しており、特に現実的で標準化されていない条件下での課題が浮き彫りになった。