[论文解读] A report on sound event detection with different binaural features

Sharath Adavanne, Tuomas Virtanen|arXiv (Cornell University)|Oct 9, 2017

Music and Audio Processing参考文献 18被引用 60

一句话总结

该论文在 TUT Sound Events 2017 数据集上，用堆叠卷积-递归网络对多声部音乐事件检测，将三种 binaural 特征与单通道基线进行对比，结果显示双耳特征通常达到与单通道相当或更优的错误率。值得注意的是，在多分辨率下提取的对数梅尔带能量（bin-mul-mbe）在测试特征中往往提供最佳的错误率表现。

ABSTRACT

In this paper, we compare the performance of using binaural audio features in place of single-channel features for sound event detection. Three different binaural features are studied and evaluated on the publicly available TUT Sound Events 2017 dataset of length 70 minutes. Sound event detection is performed separately with single-channel and binaural features using stacked convolutional and recurrent neural network and the evaluation is reported using standard metrics of error rate and F-score. The studied binaural features are seen to consistently perform equal to or better than the single-channel features with respect to error rate metric.

研究动机与目标

• 激励并评估双耳特征是否优于单通道特征在多声部 SED 上的性能提升。
• 研究三种双耳特征类型，并将它们与单通道对数梅尔带能量基线进行比较。
• 使用 CRNN 架构在 TUT Sound Events 2017 数据集上评估性能。

提出的方法

• 从双耳记录中提取三种双耳特征集合（bin-mbe、bin-mul-mbe、bin-fft）以及一个单通道 mbe。
• 将特征输入到一个堆叠的 CNN–GRU–Dense 网络，使用时间分布输出进行多标签分类。
• 使用二元交叉熵损失、Adam 优化器、dropout 和早停进行训练；在 1 秒片段上使用分段 ER 和 F 分数进行评估。
• 对每个特征执行随机超参数搜索以选择网络配置。
• 将性能与基线单通道 mbe 进行比较，并报告 DCASE 2017 的开发集和挑战集上的结果。

实验结果

研究问题

• RQ1 在所选数据集上，双耳特征是否能提供与单通道特征相同或更低的错误率？
• RQ2 在开发和挑战设置中，哪种双耳特征配置能够获得最佳的 ER 与 F 分数？
• RQ3 多分辨率双耳梅尔特征与双耳基于 FFT 的特征与单通道特征在 SED 中的比较如何？
• RQ4 数据集大小或特征类型是否影响 CRNN 模型的稳定性与训练？

主要发现

音频特征	开发集 ER	开发集 F-score	挑战集 ER	挑战集 F-score
baseline [22]	0.69	56.7	0.94	42.8
mbe	0.55	69.3	0.79	41.7
bin-mbe	0.52	69.1	0.80	42.9
bin-mul-mbe	0.50	70.3	0.85	41.4
bin-fft	0.55	66.9	0.87	36.2

• 在各评估中的错误率方面，双耳特征通常与单通道 mbe 相当，或略微优于它。
• bin-mul-mbe 特征相较于仅 mbe 的 ER 始终有提升。
• Bin-fft 在 ER 上表现具有竞争力，但验证/训练损失较高，表明数据规模有限。
• 在挑战评估中，mbe 仍然表现强劲，bin-mbe 在 ER 和 F 上紧随其后。
• 在各特征上，双耳方法在开发阶段可以实现低于基线的 ER，在挑战设置中有时也如此。
• 总体而言，在多分辨率下提取的对数梅尔带能量（bin-mul-mbe）通常提供最佳的 ER 性能。