[论文解读] Improving the Environmental Perception of Autonomous Vehicles using Deep Learning-based Audio Classification

Finley Walden, Sagar Dasgupta+2 more|arXiv (Cornell University)|Sep 9, 2022

Noise Effects and Management被引用 6

一句话总结

本文提出了一种基于深度学习的音频分类框架，采用卷积神经网络（CNN）通过检测警报声、枪声和汽车喇叭声等关键城市声音，以增强自动驾驶汽车（AV）的环境感知能力。该模型在UrbanSound8k数据集上进行训练，在分类AV相关音频类别方面实现了97.82%的准确率，证明其在检测非视线范围危害方面优于现有方法。

ABSTRACT

Sense of hearing is crucial for autonomous vehicles (AVs) to better perceive its surrounding environment. Although visual sensors of an AV, such as camera, lidar, and radar, help to see its surrounding environment, an AV cannot see beyond those sensors line of sight. On the other hand, an AV s sense of hearing cannot be obstructed by line of sight. For example, an AV can identify an emergency vehicle s siren through audio classification even though the emergency vehicle is not within the line of sight of the AV. Thus, auditory perception is complementary to the camera, lidar, and radar-based perception systems. This paper presents a deep learning-based robust audio classification framework aiming to achieve improved environmental perception for AVs. The presented framework leverages a deep Convolution Neural Network (CNN) to classify different audio classes. UrbanSound8k, an urban environment dataset, is used to train and test the developed framework. Seven audio classes i.e., air conditioner, car horn, children playing, dog bark, engine idling, gunshot, and siren, are identified from the UrbanSound8k dataset because of their relevancy related to AVs. Our framework can classify different audio classes with 97.82% accuracy. Moreover, the audio classification accuracies with all ten classes are presented, which proves that our framework performed better in the case of AV-related sounds compared to the existing audio classification frameworks.

研究动机与目标

• 通过将听觉传感作为摄像头和激光雷达等视觉传感器的补充，提升自动驾驶汽车的环境感知能力。
• 开发一种稳健的深度学习框架，能够在真实环境下对关键城市声音进行分类。
• 评估音频分类在自动驾驶汽车相关声音类别（如警报声、枪声和汽车喇叭声）上的性能。
• 证明音频感知能够检测视线范围外的危险，从而提升自动驾驶汽车的安全性。
• 将所提出的框架在AV相关声音类别上的准确率与现有音频分类系统进行比较。

提出的方法

• 采用深度卷积神经网络（CNN）从原始音频信号中提取并分类音频特征。
• 使用UrbanSound8k数据集进行训练和测试，重点关注七种类别的AV相关音频：空调、汽车喇叭、儿童嬉戏、狗叫、发动机怠速、枪声和警报声。
• 通过梅尔频率倒谱系数（MFCCs）对音频数据进行预处理，以提取适合深度学习的频谱特征。
• 采用交叉熵损失和随机梯度下降优化方法，端到端训练模型。
• 通过准确率、精确率、召回率和F1分数等标准指标，对所有类别进行性能评估。
• 在UrbanSound8k数据集的全部十个类别上测试该框架，以评估其泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 基于深度学习的音频分类系统是否能够超越视觉传感器的局限，提升自动驾驶汽车的环境感知能力？
• RQ2 在真实环境下，CNN对自动驾驶汽车相关城市声音（如警报声和枪声）的分类准确率如何？
• RQ3 所提出的框架在检测非视线范围危害方面是否优于现有音频分类模型？
• RQ4 当视觉传感器被遮挡时，音频感知对紧急车辆的检测有何影响？
• RQ5 该模型在AV专用类别和一般城市声音类别上的表现如何？

主要发现

• 所提出的深度学习框架在UrbanSound8k数据集中七个AV相关音频类别上的分类准确率达到97.82%。
• 与现有音频分类框架相比，该模型在警报声和枪声等AV关键声音上的表现更优。
• 该框架在UrbanSound8k数据集的全部十个类别中均保持高准确率，表明其具备强大的泛化能力。
• 基于音频的检测可识别出即使不在自动驾驶汽车视觉视线范围内的紧急车辆（如救护车）。
• 基于CNN的方法能有效捕捉城市声景中的频谱和时间模式，从而在真实噪声环境下实现稳健分类。
• 结果证实，听觉感知显著增强了自动驾驶汽车的环境感知能力，尤其在遮挡或复杂的城市环境中。