[论文解读] ACCDOA: Activity-Coupled Cartesian Direction of Arrival Representation for Sound Event Localization and Detection

Kazuki Shimada, Yuichiro Koyama+3 more|arXiv (Cornell University)|Oct 29, 2020

Music and Audio Processing参考文献 29被引用 12

一句话总结

本文提出ACCDOA，一种新颖的活动耦合笛卡尔波束宽度方向（DOA）表示方法，将声音事件活动检测与DOA估计统一为单一向量输出，实现仅用一个网络和一个损失函数的端到端声音事件定位与检测（SELD）。在DCASE 2020 Task 3数据集上的评估表明，ACCDOA在模型复杂度更低的同时，实现了最先进的性能，相较于双分支及先前最先进方法，其定位精度和与位置相关的F1分数均有提升。

ABSTRACT

Neural-network (NN)-based methods show high performance in sound event localization and detection (SELD). Conventional NN-based methods use two branches for a sound event detection (SED) target and a direction-of-arrival (DOA) target. The two-branch representation with a single network has to decide how to balance the two objectives during optimization. Using two networks dedicated to each task increases system complexity and network size. To address these problems, we propose an activity-coupled Cartesian DOA (ACCDOA) representation, which assigns a sound event activity to the length of a corresponding Cartesian DOA vector. The ACCDOA representation enables us to solve a SELD task with a single target and has two advantages: avoiding the necessity of balancing the objectives and model size increase. In experimental evaluations with the DCASE 2020 Task 3 dataset, the ACCDOA representation outperformed the two-branch representation in SELD metrics with a smaller network size. The ACCDOA-based SELD system also performed better than state-of-the-art SELD systems in terms of localization and location-dependent detection.

研究动机与目标

• 为解决基于神经网络的声音事件定位与检测（SELD）中多个目标之间的平衡挑战，特别是声音事件检测（SED）与波束宽度方向（DOA）估计之间的权衡。
• 降低SELD系统中的模型复杂度与网络规模，尤其适用于边缘设备部署。
• 通过将SED与DOA预测统一为单一的活动耦合表示，提升定位精度与与位置相关的检测性能。
• 通过将联合SELD任务转化为单一回归任务，消除多目标优化中损失权重调优的需求。

提出的方法

• 提出一种活动耦合笛卡尔DOA（ACCDOA）表示方法，其中DOA向量的幅值编码声音事件的活动水平。
• 训练单一神经网络，为每个目标声音事件预测帧级ACCDOA向量，使用单一损失函数，最小化预测向量与真实向量之间的欧氏距离。
• 当无事件活动时，损失仅计算活动分量，有效忽略非活动帧中的DOA信息。
• 采用改进的RD3Net架构，瓶颈部分使用门控循环单元（GRUs），将批归一化替换为网络反卷积，并在上采样路径中移除全连接块以提升效率。
• 通过输入旋转后处理：对一阶双音阶（FOA）输入进行旋转，推断ACCDOA向量，再将向量旋转复原，并对多种旋转模式的结果取平均，以增强鲁棒性。
• 将输入帧长度扩展至1,024帧，并在训练过程中采用基于STFT特征与重叠片段的实时数据增强。

实验结果

研究问题

• RQ1 统一表示方法是否能将声音事件活动与DOA估计耦合，从而在降低模型复杂度的同时提升SELD性能？
• RQ2 在多目标训练中消除损失权重平衡需求，是否能带来更稳定且性能更高的SELD系统？
• RQ3 单头、单网络方法是否能在定位精度与检测F1分数上超越双分支或两阶段方法？
• RQ4 ACCDOA表示方法在定位误差与与位置相关的F1分数方面，相较于最先进SELD系统表现如何？

主要发现

• ACCDOA表示方法在DCASE 2020 Task 3开发集上实现了7.9°的定位误差（LE），优于先前最先进系统（Wang et al.）的9.4°。
• 基于ACCDOA的系统在20°阈值下的F1分数（F20°）达到76.8%，超过先前最佳系统（Wang et al.）的76.4%，并显著优于FOA基线（37.4%）。
• 该系统仅使用156万参数即实现了80.5%的位置召回率（LR），展现出高效率与强性能。
• 在相同网络架构（CRNN）下，ACCDOA表示方法相比双分支基线，将与位置相关的F1分数提升了3.4分，表明在空间敏感场景中检测精度更高。
• 通过输入旋转与向量平均的后处理方法，进一步提升了定位性能，相比未处理版本，定位误差降低了2.3°。
• 即使未使用模型集成，ACCDOA方法在定位误差与与位置相关的F1分数上仍优于最先进系统。