[论文解读] End-to-End Polyphonic Sound Event Detection Using Convolutional Recurrent Neural Networks with Learned Time-Frequency Representation Input

Emre Çakır, Tuomas Virtanen|arXiv (Cornell University)|May 9, 2018

Music and Audio Processing被引用 12

一句话总结

本文提出一种基于卷积循环神经网络（CRNN）的端到端多音符声音事件检测系统，采用可学习的时间-频率特征提取模块直接处理原始音频。尽管性能未超越标准的手工设计特征（如梅尔倒谱图），但该方法学习到一种任务特定的表征，其能量主要集中于0–3 kHz频段，表明该频段对声音事件检测最具信息量。

ABSTRACT

Sound event detection systems typically consist of two stages: extracting hand-crafted features from the raw audio waveform, and learning a mapping between these features and the target sound events using a classifier. Recently, the focus of sound event detection research has been mostly shifted to the latter stage using standard features such as mel spectrogram as the input for classifiers such as deep neural networks. In this work, we utilize end-to-end approach and propose to combine these two stages in a single deep neural network classifier. The feature extraction over the raw waveform is conducted by a feedforward layer block, whose parameters are initialized to extract the time-frequency representations. The feature extraction parameters are updated during training, resulting with a representation that is optimized for the specific task. This feature extraction block is followed by (and jointly trained with) a convolutional recurrent network, which has recently given state-of-the-art results in many sound recognition tasks. The proposed system does not outperform a convolutional recurrent network with fixed hand-crafted features. The final magnitude spectrum characteristics of the feature extraction block parameters indicate that the most relevant information for the given task is contained in 0 - 3 kHz frequency range, and this is also supported by the empirical results on the SED performance.

研究动机与目标

• 通过将特征提取与分类整合为单一端到端深度学习模型，消除声音事件检测中的两阶段流水线。
• 探究神经网络是否能直接从原始音频学习到比传统手工设计特征（如梅尔倒谱图）更有效的时频表征，用于多音符声音事件检测。
• 分析学习到的滤波器响应，确定对声音事件检测任务最相关的频率范围。
• 将端到端学习（以原始音频为输入）的性能与标准手工设计特征（如梅尔倒谱图）进行比较。
• 探究输入采样率与网络架构对学习到的表征及最终检测性能的影响。

提出的方法

• 使用带有可学习滤波器的前馈层模块，直接从原始音频波形中提取时频表征，初始化方式模仿标准倒谱图计算过程。
• 特征提取模块与后续的CRNN分类器联合训练，实现特征学习与事件分类的端到端优化。
• 网络在8 kHz、16 kHz和24 kHz三种采样率下使用原始音频输入进行训练，以评估采样率对学习表征的影响。
• 训练后分析学习滤波器的幅度谱，可视化频率响应的变化，特别关注主瓣峰值幅度的偏移。
• 为进行对比，实验采用学习到的梅尔滤波器组和对数梅尔滤波器组，可视化其响应并评估性能。
• 系统在DCASE2017声音事件检测挑战数据集上进行评估，F1分数作为主要指标，用于比较不同配置下的性能。

实验结果

研究问题

• RQ1 具有可学习时频特征提取器的端到端深度学习模型，是否能在多音符声音事件检测中超越使用固定手工特征（如梅尔倒谱图）的系统？
• RQ2 通过特征提取模块中学习到的滤波器响应，哪些频率范围对声音事件检测任务最为相关？
• RQ3 不同输入采样率（8 kHz、16 kHz、24 kHz）如何影响学习到的时频表征及最终检测性能？
• RQ4 特征提取模块中的学习滤波器是否显著偏离标准感知尺度（如梅尔或耳蜗滤波器），若偏离，其差异体现在何处？
• RQ5 特征提取与分类的联合训练是否能生成比标准倒谱图更具任务特异性的表征？

主要发现

• 所提出的端到端系统未超越使用固定手工梅尔倒谱图的CRNN模型，最佳F1分数为8 kHz梅尔滤波器组实验的61%。
• 学习滤波器的幅度谱显示在3 kHz以下存在显著的幅度调制，表明该频段包含对声音事件检测任务最相关的信息。
• 4 kHz以上的滤波器响应在训练过程中变化极小，表明高频分量对检测性能贡献较小。
• 学习到的滤波器不保持纯正弦响应；相反，其出现旁瓣和非均匀的谱形，表明理想滤波器特性有所损失。
• 滤波器实部与虚部的学习表征高度相似，表明复数滤波器组在学习过程中表现出高度对称的行为。
• 尽管输入采样率和网络架构存在差异，各实验中学习到的滤波器响应仍表现出一致的模式，尤其在4 kHz以下的低频增强特征上。