[论文解读] DCASE 2021 Task 3: Spectrotemporally-aligned Features for Polyphonic Sound Event Localization and Detection

Thi Ngoc Tho Nguyen, Karn N. Watcharasupat+3 more|arXiv (Cornell University)|Jun 25, 2021

Music and Audio Processing参考文献 24被引用 16

一句话总结

本文提出了一种新型多通道特征——频谱时间对齐特征（SALSA），该特征融合了对数谱图、直达-混响比（DRR）以及空间协方差矩阵的归一化主特征向量，实现了音频内容与波达方向（DOA）信息之间精确的时间-频率对齐。在SALSA上进行训练的深度学习模型显著优于DCASE 2021基线模型，在存在方向性干扰的多源声音事件定位与检测（Seld）任务中达到了最先进性能。

ABSTRACT

Sound event localization and detection consists of two subtasks which are sound event detection and direction-of-arrival estimation. While sound event detection mainly relies on time-frequency patterns to distinguish different sound classes, direction-of-arrival estimation uses magnitude or phase differences between microphones to estimate source directions. Therefore, it is often difficult to jointly train these two subtasks simultaneously. We propose a novel feature called spatial cue-augmented log-spectrogram (SALSA) with exact time-frequency mapping between the signal power and the source direction-of-arrival. The feature includes multichannel log-spectrograms stacked along with the estimated direct-to-reverberant ratio and a normalized version of the principal eigenvector of the spatial covariance matrix at each time-frequency bin on the spectrograms. Experimental results on the DCASE 2021 dataset for sound event localization and detection with directional interference showed that the deep learning-based models trained on this new feature outperformed the DCASE challenge baseline by a large margin. We combined several models with slightly different architectures that were trained on the new feature to further improve the system performances for the DCASE sound event localization and detection challenge.

研究动机与目标

• 解决在存在重叠声源与方向性干扰的多源音频中，联合优化声音事件检测（SED）与波达方向（DOA）估计的挑战。
• 克服传统特征（如对数梅尔谱图与强度向量）中时间-频率模式（用于SED）与空间线索（用于DOA）之间存在的错位问题。
• 开发一种特征，确保在多源场景下，尤其是存在干扰时，声音类别与DOA之间保持精确的时间-频率对应关系。
• 通过在端到端深度学习模型中实现更好的谱时域与空间信息融合，提升Seld性能。

提出的方法

• 提出SALSA，一种多通道特征，将每个时间-频率单元的对数谱图、DRR以及空间协方差矩阵的主特征向量进行融合。
• 通过在统一的时间-频率网格上对齐所有分量，确保信号能量与DOA之间具有精确的时间-频率映射。
• 使用SALSA作为输入，训练端到端的Seld模型，采用带有双向GRU或LSTM的CRNN结构，并使用多头自注意力（MHSA）进行解码。
• 在推理阶段应用测试时增强（TTA），通过16种空间增强方式提升模型的鲁棒性与泛化能力。
• 将多种架构的模型组合成集成模型——Seld集成与一个SED集成，最终融合预测结果。
• 采用按类别输出头设计，便于模型集成，并提升对重叠同类别事件的处理能力。

实验结果

研究问题

• RQ1 频谱时间对齐特征是否能提升在存在方向性干扰的多源音频中，声音事件检测与波达方向估计的联合学习性能？
• RQ2 是否通过精确保持谱时域内容与空间线索之间的时间-频率对应关系，能够实现优于传统特征的Seld性能？
• RQ3 所提出的SALSA特征在处理重叠声音事件与干扰方面，相较于标准的对数梅尔谱图与强度向量表现如何？
• RQ4 测试时增强与模型集成策略在SALSA训练的Seld系统中，能在多大程度上提升鲁棒性与准确性？
• RQ5 SALSA是否能更好地分辨重叠的同类别事件？这类事件在真实世界数据集中普遍存在。

主要发现

• 在SALSA上训练的模型相比DCASE 2021基线（LM/IV）有显著提升，在测试集上联合检测与定位得分（LR_CD）相对提升了42.6%。
• 表现最佳的系统（系统D）取得了LR_CD为0.756，ER≤20°为0.378，F1≤20°为0.740，显著优于基线（LR_CD：0.439）。
• 在SALSA上训练的GRU模型（配合TTA）实现了ER≤20°为0.404，F1≤20°为0.702，优于基线LM/IV模型（ER≤20°：0.690，F1≤20°：0.339）。
• 与非增强推理相比，使用测试时增强（TTA）使ER≤20°降低了10.4%，F1≤20°提升了10.9%，证明了其有效性。
• 通过集成多个Seld模型，并与SED集成模型结合，进一步提升了性能，最终系统相比最佳单模型在LR_CD上实现了1.6%的绝对提升。
• SALSA特征通过保持精细的时空对齐，显著提升了对重叠同类别事件的分辨能力，此类事件占DCASE 2021数据集中总帧数的10.45%。