[論文レビュー] Emergency Vehicles Audio Detection and Localization in Autonomous Driving

Hongyi Sun, Xinyi Liu+3 more|arXiv (Cornell University)|Sep 30, 2021

Speech and Audio Processing参考文献 18被引用数 12

ひとこと要約

本稿では、CNNベースのモデルを用いて、緊急車両のサイレン検出とその方向および距離の局所化を同時に実行する低コストで2マイクロホンの音声システムを提案する。10–50mの重要な反応範囲内において、99.16%のリCALLを達成し、中央値の角度誤差と距離誤差はそれぞれ9.64°および9.30mであり、TransformerおよびReformerのベースラインを上回る性能を示した。

ABSTRACT

Emergency vehicles in service have right-of-way over all other vehicles. Hence, all other vehicles are supposed to take proper actions to yield emergency vehicles with active sirens. As this task requires the cooperation between ears and eyes for human drivers, it also needs audio detection as a supplement to vision-based algorithms for fully autonomous driving vehicles. In urban driving scenarios, we need to know both the existence of emergency vehicles and their relative positions to us to decide the proper actions. We present a novel system from collecting the real-world siren data to the deployment of models using only two cost-efficient microphones. We are able to achieve promising performance for each task separately, especially within the crucial 10m to 50m distance range to react (the size of our ego vehicle is around 5m in length and 2m in width). The recall rate to determine the existence of sirens is 99.16% , the median and mean angle absolute error is 9.64° and 19.18° respectively, and the median and mean distance absolute error of 9.30m and 10.58m respectively within that range. We also benchmark various machine learning approaches that can determine the siren existence and sound source localization which includes direction and distance simultaneously within 50ms of latency.

研究の動機と目的

• 自律走行のための低コストで耐障害性の高い音声ベースの緊急車両検出および局所化システムの開発を目的とする。
• 視覚ベースの認識が視界が遮断される都市環境において抱える限界を解消することを目的とする。
• 自律走行車両がサイレンを検出し、信号源の方向と距離を高い精度と低遅延で推定できることを目的とする。
• サイレンの存在検出、方向推定、距離回帰を同時に実行する統合型ディープラーニングモデルの学習を目的とする。
• 特に10–50mの重要な反応ウィンドウ内での距離の変動に応じたモデル性能の評価を目的とする。

提案手法

• システムは、実際の都市走行データから得た生の音声波形と手作業で作成した特徴量（例：スペクトル特徴）を、低コストな2つのマイクロホンで収集する。
• 共有されたCNNバックボーンが、生波形と手作業特徴の両方を並列処理し、その後、下流タスクのための特徴を統合する。
• 共有バックボーンに、サイレン存在分類、方向推定（角度）、距離回帰の3つの別々の全結合ヘッド層を接続する。
• サイレン検出には交差エントロピー、局所化タスクには平均絶対誤差（MAE）を組み合わせたジョイント損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 訓練データには、実際の自律走行中に収集された264,506件の陽性サイレンサンプルが含まれており、100mまでの距離をカバーしている。
• 遅延が50ms未満であることを含め、リCALL、角度と距離の平均絶対誤差（MAE）、および遅延といった指標を用いてモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 低コストで2マイクロホンのシステムが、実際の都市走行条件下で高精度な緊急車両サイレン検出と局所化を達成できるか？
• RQ2 緊急車両からの距離が増加するにつれて、統合されたサイレン検出と局所化の性能はどのように変化するか？
• RQ3 実世界の制約下で、CNN、Transformer、Reformerの中では、どのディープラーニングアーキテクチャが、統合されたサイレン検出と局所化において最も優れた性能を示すか？
• RQ4 長距離でのドップラー効果と信号対雑音比（SNR）の低下が、モデルの精度にどの程度影響を与えるか？
• RQ5 限られた実世界データで学習された統合モデルは、サイレンの存在、方向、距離推定のすべてのタスクで頑健な性能を達成できるか？

主な発見

• CNNベースのモデルは、10–50mの範囲内でサイレン存在検出のリCALLが99.16%に達し、中央値の角度絶対誤差は9.64°、中央値の距離絶対誤差は9.30mであった。
• 50mではリCALLが98%以上を維持し、100mでは95.21%に低下するが、重要な反応領域での優れた性能を示している。
• 10–30mでは中央値の角度MAEが最も低く（7°）、90–100mでは59.14°に上昇し、長距離での角度推定の難易度が顕著に高まっていることが示された。
• 70mを超えて距離MAEは徐々に増加し、90–100mでは33.98mに達するため、信号対雑音比とマイクロホンの品質に起因する性能低下が予想される。
• CNNモデルは、TransformerおよびReformerモデルを上回り、テストセットで89.4%の精度、36.61°の角度MAE、14.18mの距離MAEを達成した。
• システムは50ms未満の遅延で動作し、自律走行システムにおけるリアルタイム展開が可能である。