[论文解读] A Dataset of Reverberant Spatial Sound Scenes with Moving Sources for Sound Event Localization and Detection

Archontis Politis, Sharath Adavanne+1 more|arXiv (Cornell University)|Jun 2, 2020

Music and Audio Processing参考文献 29被引用 43

一句话总结

引入了 DCASE 2020 SELD 数据集，包含在多间房间中的混响、移动源，以及一个 CRNN 基线（SELDnet）和联合 SELD 评估指标。它提供 MIC 和 FOA 格式以实现稳健基准测试。

ABSTRACT

This report presents the dataset and the evaluation setup of the Sound Event Localization & Detection (SELD) task for the DCASE 2020 Challenge. The SELD task refers to the problem of trying to simultaneously classify a known set of sound event classes, detect their temporal activations, and estimate their spatial directions or locations while they are active. To train and test SELD systems, datasets of diverse sound events occurring under realistic acoustic conditions are needed. Compared to the previous challenge, a significantly more complex dataset was created for DCASE 2020. The two key differences are a more diverse range of acoustical conditions, and dynamic conditions, i.e. moving sources. The spatial sound scenes are created using real room impulse responses captured in a continuous manner with a slowly moving excitation source. Both static and moving sound events are synthesized from them. Ambient noise recorded on location is added to complete the generation of scene recordings. A baseline SELD method accompanies the dataset, based on a convolutional recurrent neural network, to provide benchmark scores for the task. The baseline is an updated version of the one used in the previous challenge, with input features and training modifications to improve its performance.

研究动机与目标

• 在多样混响条件下，具备静态与移动源的现实感的 SELD 数据集的必要性。
• 创建一个包含移动源的、规模大、多样化的混响声景数据集，以挑战 SELD 系统。
• 提供两种互补的数据格式（MIC 和 FOA）以及一个固定的评估设定，以便公平比较方法。
• 提供一个基线 SELDnet 和联合 SELD 性能指标，以指导未来研究。

提出的方法

• 通过将移动和静态声音事件与从 13 间房间测得的房间脉冲响应（RIR）进行卷积，合成空间混响混合。
• 使用伪随机 MLS 轨迹来移动来源，以捕捉连续的空间变化。
• 在不同的信噪比下混入环境噪声以增强真实感。
• 提供 MIC（4 通道四面体）和 FOA（第一阶 Ambisonics）格式的数据，以研究格式相关特征。
• 使用带掩蔽 DOA 损失的数组相关特征，调整 SELDnet 基线，采用联合 SED+DOA 训练目标。
• 使用联合 SELD 指标（LE_CD、LR_CD、ER_20°, F_20°）进行评估，作为对传统 2019 指标（DE、FR、ER、F）的补充。

实验结果

研究问题

• RQ1 在混响环境中，SELD 系统在检测、分类和定位移动声音源方面的表现如何？
• RQ2 移动源和多样化声学条件是否显著影响 SELD 的性能，与静态数据集相比？
• RQ3 为 SELD 研究和特征设计提供 MIC 和 FOA 格式有哪些好处？
• RQ4 联合 SELD 指标与独立的 SED 和 DOA 指标在评估实际性能时有何差异？

主要发现

数据集格式 / 指标	DE	FR	ER	F	LE_CD	LR_CD	ER_20°	F_20°
FOA Development (2019 metrics)	20.2	62.9	0.54	62	-	-	-	-
FOA Test (2019 metrics)	20.4	66.6	0.54	60.9	-	-	-	-
MIC Development (2019 metrics)	21.9	63.8	0.53	62.8	-	-	-	-
MIC Test (2019 metrics)	22.6	66.8	0.56	59.2	-	-	-	-
FOA Val (2020 joint metrics)	-	-	-	-	23.5	62.0	0.72	37.7
FOA Test (2020 joint metrics)	-	-	-	-	22.8	60.7	0.72	37.4
MIC Val (2020 joint metrics)	-	-	-	-	27.0	62.6	0.74	34.2
MIC Test (2020 joint metrics)	-	-	-	-	27.3	59.0	0.78	31.4

• 基线 SELDnet 在新数据集上实现可度量的联合检测与定位，且在不同格式和房间上表现不同。
• 在相同录音条件下，FOA 格式通常比 MIC 对基线模型获得更好的 SELD 性能。
• 多音成分（重叠）会让性能下降，并且在未见空间上显示出房间相关的泛化问题。
• 联合指标（LE_CD、LR_CD、ER_20°, F_20°）揭示了超越 2019 单独指标的互补洞察，强调评估联合检测/定位的好处。
• 数据集展示了移动源、不同混响和真实环境噪声带来的显著挑战，促使 SELD 方法的进步。