[论文解读] Emergency Vehicles Audio Detection and Localization in Autonomous Driving

Hongyi Sun, Xinyi Liu+3 more|arXiv (Cornell University)|Sep 30, 2021

Speech and Audio Processing参考文献 18被引用 12

一句话总结

本文提出了一种低成本、双麦克风音频系统，用于自动驾驶汽车，通过基于CNN的模型联合检测紧急车辆警报声并定位其方向与距离。在关键的10–50米反应范围内，该系统实现了99.16%的召回率，角度和距离的中位数误差分别为9.64°和9.30米，优于Transformer和Reformer基线模型。

ABSTRACT

Emergency vehicles in service have right-of-way over all other vehicles. Hence, all other vehicles are supposed to take proper actions to yield emergency vehicles with active sirens. As this task requires the cooperation between ears and eyes for human drivers, it also needs audio detection as a supplement to vision-based algorithms for fully autonomous driving vehicles. In urban driving scenarios, we need to know both the existence of emergency vehicles and their relative positions to us to decide the proper actions. We present a novel system from collecting the real-world siren data to the deployment of models using only two cost-efficient microphones. We are able to achieve promising performance for each task separately, especially within the crucial 10m to 50m distance range to react (the size of our ego vehicle is around 5m in length and 2m in width). The recall rate to determine the existence of sirens is 99.16% , the median and mean angle absolute error is 9.64° and 19.18° respectively, and the median and mean distance absolute error of 9.30m and 10.58m respectively within that range. We also benchmark various machine learning approaches that can determine the siren existence and sound source localization which includes direction and distance simultaneously within 50ms of latency.

研究动机与目标

• 开发一种低成本、鲁棒的基于音频的紧急车辆检测与定位系统，用于自动驾驶。
• 解决在视线受阻的城市环境中基于视觉的感知方法的局限性。
• 使自动驾驶汽车能够以高精度和低延迟检测警报声，并估计声源方向与距离。
• 训练一个统一的深度学习模型，联合执行警报声存在性检测、方向估计和距离回归。
• 在不同距离下评估模型性能，特别是在关键的10–50米反应窗口内。

提出的方法

• 系统使用两个成本低廉的麦克风采集真实城市驾驶数据中的原始音频波形和手工提取的特征（例如频谱特征）。
• 共享的CNN主干网络通过两条并行路径处理原始波形和手工特征，随后融合用于下游任务。
• 在共享主干网络后连接三个独立的全连接头层，分别用于警报声存在性分类、方向估计（角度）和距离回归。
• 模型采用端到端训练，损失函数结合了用于警报声检测的交叉熵损失和用于定位任务的平均绝对误差损失。
• 训练数据包含264,506个在真实自动驾驶过程中采集的正样本警报声，覆盖距离最高达100米。
• 通过召回率、角度和距离的平均绝对误差（MAE）以及低于50ms的延迟等指标评估模型性能。

实验结果

研究问题

• RQ1 低成本、双麦克风系统是否能在真实城市驾驶条件下实现高精度的紧急车辆警报声检测与定位？
• RQ2 警报声联合检测与定位的性能如何随与紧急车辆距离的增加而变化？
• RQ3 在真实世界约束条件下，哪种深度学习架构——CNN、Transformer或Reformer——在联合警报声检测与定位任务中表现最佳？
• RQ4 多普勒效应以及远距离下信噪比下降对模型精度的影响程度如何？
• RQ5 在有限的真实世界数据上训练的统一模型，是否能在警报声存在性、方向和距离估计方面实现稳健性能？

主要发现

• 基于CNN的模型在10–50米范围内实现99.16%的警报声存在性检测召回率，中位角度绝对误差为9.64°，中位距离绝对误差为9.30米。
• 警报声检测召回率在50米处仍高于98%，在100米处下降至95.21%，表明在关键反应区域性能优异。
• 中位角度MAE在10–30米范围内最低（7°），在90–100米范围内增至59.14°，反映出远距离下角度估计的挑战。
• 距离MAE在70米以上持续增加，在90–100米范围内上升至33.98米，表明信噪比下降和麦克风质量导致性能下降。
• CNN模型优于Transformer和Reformer模型，在测试集上分别实现89.4%的准确率、36.61°的角度MAE和14.18米的距离MAE。
• 系统延迟低于50ms，支持在自动驾驶系统中实时部署。