[论文解读] Deep Residual Network for Sound Source Localization in the Time Domain
该论文提出一种用于时域声音源定位（SSL）的深度残差神经网络，采用8通道线性麦克风阵列（间距3 cm）。通过将SSL建模为30 ms音频帧的分类任务，该模型在定位任务中实现了99.2%的分类准确率和4°的标准差，当集成到语音识别流水线中时，相比GCC-PHAT方法，词错误率降低了1.14%。
This study presents a system for sound source localization in time domain using a deep residual neural network. Data from the linear 8 channel microphone array with 3 cm spacing is used by the network for direction estimation. We propose to use the deep residual network for sound source localization considering the localization task as a classification task. This study describes the gathered dataset and developed architecture of the neural network. We will show the training process and its result in this study. The developed system was tested on validation part of the dataset and on new data capture in real time. The accuracy classification of 30 m sec sound frames is 99.2%. The standard deviation of sound source localization is 4°. The proposed method of sound source localization was tested inside of speech recognition pipeline. Its usage decreased word error rate by 1.14% in comparison with similar speech recognition pipeline using GCC-PHAT sound source localization.
研究动机与目标
- 开发一种基于深度学习的时域声音源定位方法，直接使用原始音频帧。
- 解决实时音频处理中高精度、高鲁棒性波达方向估计的挑战。
- 通过集成高精度SSL系统，提升语音识别性能。
- 展示残差网络在从时域信号中分类声音源方向方面的有效性。
提出的方法
- 训练一个深度残差神经网络，从8通道线性麦克风阵列捕获的30 ms时域音频帧中分类声音源方向。
- 网络架构专为端到端声音源方向分类设计，采用残差块以稳定深层网络的训练过程。
- 输入特征直接从原始时域信号提取，无需频谱变换，从而保留时间分辨率。
- 系统在真实声学环境中采集的自定义数据集上进行训练，声源受控。
- 模型使用Softmax交叉熵损失函数，对离散方向区间进行多分类。
- 将训练好的模型集成到语音识别流水线中，以评估下游性能提升。
实验结果
研究问题
- RQ1深度残差网络能否有效从时域音频帧中直接学习声音源定位？
- RQ2与传统方法（如GCC-PHAT）相比，所提出的时域残差网络在定位精度方面表现如何？
- RQ3将所提出的SSL系统集成到语音识别流水线中，能在多大程度上降低词错误率？
- RQ4该模型在实时、未见过的音频数据上的泛化能力如何？
主要发现
- 所提出的深度残差网络在30 ms音频帧上实现99.2%的分类准确率，用于声音源定位。
- 定位误差的标准差为4°，表明方向估计具有高精度。
- 当集成到语音识别流水线中时，与使用GCC-PHAT进行SSL的类似流水线相比，该系统将词错误率降低了1.14%。
- 模型展现出强大的泛化能力，在验证数据和实时采集的测试数据上均保持高性能。
- 直接使用原始时域输入、无需频谱变换，在方向分类任务中被证明是有效且高效的。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。