[論文レビュー] Camera-Radar Perception for Autonomous Vehicles and ADAS: Concepts, Datasets and Metrics

Felipe Manfio Barbosa, Fernando Santos Osório|arXiv (Cornell University)|Mar 8, 2023

Infrared Target Detection Methodologies被引用数 5

ひとこと要約

本サーベイは、自動運転車両およびADASにおけるカメラレーダー連合認識について、センサー特性、深層学習に基づく検出とセグメンテーション、主要データセット、評価指標、課題を網羅的に概説する。レーダーの未開拓の可能性と連合手法の重要性を強調し、データの不均衡と標準化の欠如を主な問題として指摘し、実世界の走行状況における安全性を向上させるために、強固で多様かつバランスの取れたデータセットの構築を提唱する。

ABSTRACT

One of the main paths towards the reduction of traffic accidents is the increase in vehicle safety through driver assistance systems or even systems with a complete level of autonomy. In these types of systems, tasks such as obstacle detection and segmentation, especially the Deep Learning-based ones, play a fundamental role in scene understanding for correct and safe navigation. Besides that, the wide variety of sensors in vehicles nowadays provides a rich set of alternatives for improvement in the robustness of perception in challenging situations, such as navigation under lighting and weather adverse conditions. Despite the current focus given to the subject, the literature lacks studies on radar-based and radar-camera fusion-based perception. Hence, this work aims to carry out a study on the current scenario of camera and radar-based perception for ADAS and autonomous vehicles. Concepts and characteristics related to both sensors, as well as to their fusion, are presented. Additionally, we give an overview of the Deep Learning-based detection and segmentation tasks, and the main datasets, metrics, challenges, and open questions in vehicle perception.

研究の動機と目的

• 自動運転車両およびADASにおけるレーダー基盤およびカメラレーダー連合認識に関する包括的なサーベイが不足しているという点を解決すること。
• 特に悪天候や悪条件下におけるカメラとレーダーのセンサーの個別的・連合的特性の長所と短所を分析すること。
• 車両認識に用いられる主な深層学習ベースの検出およびセグメンテーション手法を整理・評価すること。
• 既存のデータセットの概要、モダリティ、悪条件下のカバレッジ、データの不均衡やアノテーション負荷といった課題を要約すること。
• レーダー認識分野における主なオープンチャレンジを特定すること、特に評価指標の標準化の欠如、脆弱な道路利用者や低所得地域のデータセットにおける不足。

提案手法

• ADASおよび自動運転車両の応用を対象として、カメラおよびレーダー認識に関する文献を体系的にレビューする。
• カメラの照明への感受性とレーダーの悪天候下での耐性といったセンサー特性を分類・分析する。
• オブジェクト検出および画像セグメンテーションのための深層学習モデルを提示・比較し、マルチモーダル連合技術に重点を置く。
• 主な公開データセットを収集・評価し、データモダリティ、サイズ、アノテーション品質、困難なシナリオのカバレッジを分析する。
• 分野で用いられる性能評価指標を分析し、mAP、IoUの重要性と、規制と整合した標準化された評価プロトコルの必要性を強調する。
• データセットバイアス、アノテーションコスト、地域的代表性の欠如といった要因を通じて、主な課題を同定する。

実験結果

リサーチクエスチョン

• RQ1 悪照明や悪天候下において、カメラとレーダーのセンサーが自動運転車両認識において果たす主な利点と制限は何か？
• RQ2 現在の深層学習ベースの検出およびセグメンテーション手法は、レーダーデータと融合することでどのように性能を発揮するか？主な技術的課題は何か？
• RQ3 カメラレーダー認識分野で最も代表的かつ広く使われているデータセットは何か？それらはデータの不均衡や現実世界の多様性に対し、どのように対応しているか、あるいは対応していないか？
• RQ4 データセットおよびベンチマーク間で評価指標の標準化はどの程度進んでおり、それが手法間の比較にどのような影響を与えているか？
• RQ5 自動運転車両およびADAS向けに、強固で汎用性があり安全な認識システムを開発するにあたり、最も深刻な未解決課題は何か？

主な発見

• 低照度や悪天候下での耐性を高める可能性を秘めているものの、レーダー基盤およびカメラレーダー連合認識は、依然として未開拓の分野にとどまっている。
• データの不均衡が深刻な問題となっており、多くの大規模データセットで「車両」クラスが支配的であり、自転車など脆弱な道路利用者が著しく不足している。
• セグメンテーションタスクにおけるアノテーション負荷が、検出データセットに比べて大規模なセグメンテーションデータセットの不足を引き起こしており、これを「アノテーションデータセットの呪い」と呼ぶ。
• 大多数のデータセットは先進国で収集されており、構造のないインfraを有する低所得地域や地方の道路環境の代表性が乏しい。
• ベンチマーク間で評価指標の標準化が不十分であり、認識システムの性能を公平かつ一貫して比較することが困難である。
• 今後の進展は、バランスの取れた多様なデータセットの構築と、規制と整合した標準化された評価指標の採用にかかっている。これにより、安全で強固な自律走行システムの開発が加速される。