[论文解读] Assessment of Self-Attention on Learned Features For Sound Event Localization and Detection

Parthasaarathy Sudarsanam, Archontis Politis+1 more|arXiv (Cornell University)|Jul 20, 2021

Music and Audio Processing被引用 5

一句话总结

本文评估了多头自注意力（MHSA）作为声事件定位与检测（SELD）中循环神经网络（RNNs）的替代方案。通过将类似SELDnet的CRNN中的GRU层替换为MHSA模块并优化超参数，该模型相比基线模型实现了35.2%更高的F值和10.7%更低的定位误差，且由于并行化，推理速度提升了2.5倍。

ABSTRACT

Joint sound event localization and detection (SELD) is an emerging audio signal processing task adding spatial dimensions to acoustic scene analysis and sound event detection. A popular approach to modeling SELD jointly is using convolutional recurrent neural network (CRNN) models, where CNNs learn high-level features from multi-channel audio input and the RNNs learn temporal relationships from these high-level features. However, RNNs have some drawbacks, such as a limited capability to model long temporal dependencies and slow training and inference times due to their sequential processing nature. Recently, a few SELD studies used multi-head self-attention (MHSA), among other innovations in their models. MHSA and the related transformer networks have shown state-of-the-art performance in various domains. While they can model long temporal dependencies, they can also be parallelized efficiently. In this paper, we study in detail the effect of MHSA on the SELD task. Specifically, we examined the effects of replacing the RNN blocks with self-attention layers. We studied the influence of stacking multiple self-attention blocks, using multiple attention heads in each self-attention block, and the effect of position embeddings and layer normalization. Evaluation on the DCASE 2021 SELD (task 3) development data set shows a significant improvement in all employed metrics compared to the baseline CRNN accompanying the task.

研究动机与目标

• 旨在隔离并评估多头自注意力（MHSA）对声事件定位与检测（SELD）性能的影响。
• 确定MHSA在SELD任务中的最优超参数，包括注意力头数量、模块数量，以及位置嵌入和归一化技术的使用。
• 从准确率、推理速度和训练效率三个方面，将基于MHSA的模型与标准CRNN基线进行比较。
• 评估MHSA是否能在建模长程时序依赖关系方面优于RNNs，同时实现更快的并行推理。

提出的方法

• 将类似SELDnet的CRNN中的门控循环单元（GRU）层替换为多头自注意力（MHSA）模块，以建模时序依赖关系。
• 使用对数梅尔频谱图和强度向量作为输入，沿通道维度拼接以实现多通道音频处理。
• 在首个MHSA模块的输入处应用可学习的固定大小位置嵌入，以保留序列顺序信息。
• 在连续的MHSA模块之间引入残差连接和层归一化，以稳定训练并提升性能。
• 使用Adam优化器、固定学习率为0.001，训练100个周期，回归式DOA预测采用均方误差损失。
• 在DCASE 2021 SELD开发集上评估模型，采用的指标包括F值、检测误差率、定位误差和定位召回率。

实验结果

研究问题

• RQ1 将RNN替换为多头自注意力（MHSA）后，SELD性能在检测与定位指标方面有何变化？
• RQ2 在SELD任务中，MHSA的最优注意力头数量和自注意力模块数量是多少？
• RQ3 层归一化和残差连接如何影响基于MHSA的SELD模型的训练稳定性和性能？
• RQ4 在缺乏相对位置归纳偏差的情况下，位置嵌入对MHSA性能有何影响？
• RQ5 考虑到注意力机制的并行化优势，基于MHSA的模型推理速度与基于RNN的基线相比如何？

主要发现

• 将GRU层替换为两个MHSA模块（每个模块含八个注意力头）后，F值相比CRNN基线提升了35.2%。
• 在性能最佳的MHSA配置中，检测误差率（ER20）降低了11.6%，表明事件检测准确率更高。
• 在最优MHSA模型中，定位召回率（LRCD）提升了25.2%，定位误差（LECD）降低了10.7%，表明空间定位准确性显著提升。
• 在首个MHSA模块中加入位置嵌入进一步提升了性能，证实其在保持序列顺序信息方面的重要性。
• 尽管参数量接近基线的两倍，由于并行计算的优势，MHSA模型的推理速度比基于RNN的基线快2.5倍。
• 残差连接与层归一化的结合对于多MHSA模块的稳定训练和高性能表现至关重要。