[论文解读] A General Network Architecture for Sound Event Localization and Detection Using Transfer Learning and Recurrent Neural Network

Thi Ngoc Tho Nguyen, Ngoc Khanh Nguyen+5 more|arXiv (Cornell University)|Nov 16, 2020

Music and Audio Processing参考文献 19被引用 6

一句话总结

本文提出了一种模块化、支持迁移学习的网络架构，用于多音轨声音事件定位与检测（SELD），将声音事件检测（SED）与波达方向（DOA）估计解耦为预训练子网络，再通过轻量级循环神经网络（RNN）对齐并融合其输出。该方法在不同音频格式及SED/DOA算法下均在DCASE 2020 SELD数据集上取得了具有竞争力的性能，通过独立模型优化和降低联合训练复杂度，显著提升了鲁棒性与实用性。

ABSTRACT

Polyphonic sound event detection and localization (SELD) task is challenging because it is difficult to jointly optimize sound event detection (SED) and direction-of-arrival (DOA) estimation in the same network. We propose a general network architecture for SELD in which the SELD network comprises sub-networks that are pretrained to solve SED and DOA estimation independently, and a recurrent layer that combines the SED and DOA estimation outputs into SELD outputs. The recurrent layer does the alignment between the sound classes and DOAs of sound events while being unaware of how these outputs are produced by the upstream SED and DOA estimation algorithms. This simple network architecture is compatible with different existing SED and DOA estimation algorithms. It is highly practical since the sub-networks can be improved independently. The experimental results using the DCASE 2020 SELD dataset show that the performances of our proposed network architecture using different SED and DOA estimation algorithms and different audio formats are competitive with other state-of-the-art SELD algorithms. The source code for the proposed SELD network architecture is available at Github.

研究动机与目标

• 解决在多音轨音频环境中联合优化声音事件检测（SED）与波达方向（DOA）估计的挑战。
• 降低端到端联合训练SED与DOA网络时的复杂度与过拟合风险。
• 通过利用现有数据集与模型，实现SED与DOA子网络的模块化开发与独立优化。
• 设计一种通用且实用的SELD架构，兼容多种SED与DOA算法及音频格式。
• 通过迁移学习与高层特征对齐，减少对大规模联合标注数据集的依赖。

提出的方法

• 该架构使用两个独立预训练的子网络：一个用于SED，一个用于DOA估计，各自在对应任务的数据集上进行训练。
• 通过使用AudioSet预训练模型的权重初始化SED子网络，应用迁移学习。
• 基于RNN的对齐网络通过匹配两个流之间的事件起始时间、结束时间与活跃段，融合SED与DOA的输出。
• 对齐网络在序列级输出上运行，训练时无需了解上游处理过程，即可将检测到的声音类别与对应的DOA估计关联。
• SED与DOA均采用多标签分类格式，对齐网络中SED与DOA的损失权重分别为（0.7, 0.3）。
• 系统在DCASE 2020 SELD数据集上使用第一阶全向声学（FOA）与双耳麦克风阵列（mic-array）格式进行评估。

Fig. 1 : A general SELD network architecture.

实验结果

研究问题

• RQ1 是否能够通过解耦SED与DOA训练的模块化网络架构，在性能上与端到端联合模型相媲美？
• RQ2 在有限的SELD数据集上微调时，从大规模预训练模型迁移学习是否能提升SED性能？
• RQ3 基于RNN的对齐网络是否能有效融合独立训练的SED与DOA子网络输出，而无需架构或数据层面的耦合？
• RQ4 所提出架构在不同音频格式（如FOA与mic-array）及不同SED/DOA算法组合下的性能表现如何？
• RQ5 该框架是否能通过利用现有任务专用数据集进行预训练，从而减少对大规模联合标注数据集的依赖？

主要发现

• 使用AudioSet进行迁移学习微调的SED-T模型，在FOA格式上F1分数绝对提升了2.4%（从80.0%提升至82.1%），表现更优。
• 在FOA格式上，基于SED-T的SELD模型在所有测试模型中排名第二，仅次于基于集成的SMN模型，证明其在更简单架构下仍具备强大性能。
• 在mic-array格式上，基于SED-T的SELD模型表现最佳，排名第一，因该格式无基线模型可供比较。
• 采用SS直方图方法的DOA估计模型（AZI-hist）取得了最佳方位角mAP得分0.509，优于DOA-gcc（0.426）与DOA-iv（0.339）。
• 尽管DOA-iv与DOA-gcc的独立DOA性能较低，但其联合SELD性能与AZI-hist相当，表明对齐网络能有效补偿次优的DOA估计。
• 所提架构在所有SED与DOA算法组合下均取得了具有竞争力的结果，证实了其模块化与泛化能力。

Fig. 2 : Left: Block diagram of the SED and DOAE networks. $n_{frames}$ is the number of input frames. $n_{channels}$ and $n_{features}$ depend on types of input features. Both SED and DOAE are formulated as multi-label multi-class classification. Right: Block diagram of the alignment network. Durin