[论文解读] Learning audio sequence representations for acoustic event classification

Zixing Zhang, Ding Liu+3 more|arXiv (Cornell University)|Jul 27, 2017

Music and Audio Processing参考文献 32被引用 13

一句话总结

本文提出了一种无监督的循环神经网络自编码器框架，用于学习可变长度音频序列的固定长度向量表示，以实现声学事件分类（AEC）。通过使用双向RNN编码器-解码器对输入序列进行重建训练，该模型捕捉了显著的时间模式，在使用GRU-RNN时于229个声学事件类别上实现了47.7%的F1分数和39.0%的未加权准确率（UA），性能显著优于手工设计的特征。

ABSTRACT

Acoustic Event Classification (AEC) has become a significant task for machines to perceive the surrounding auditory scene. However, extracting effective representations that capture the underlying characteristics of the acoustic events is still challenging. Previous methods mainly focused on designing the audio features in a `hand-crafted' manner. Interestingly, data-learnt features have been recently reported to show better performance. Up to now, these were only considered on the frame level. In this article, we propose an unsupervised learning framework to learn a vector representation of an audio sequence for AEC. This framework consists of a Recurrent Neural Network (RNN) encoder and an RNN decoder, which respectively transforms the variable-length audio sequence into a fixed-length vector and reconstructs the input sequence on the generated vector. After training the encoder-decoder, we feed the audio sequences to the encoder and then take the learnt vectors as the audio sequence representations. Compared with previous methods, the proposed method can not only deal with the problem of arbitrary-lengths of audio streams, but also learn the salient information of the sequence. Extensive evaluation on a large-size acoustic event database is performed, and the empirical results demonstrate that the learnt audio sequence representation yields a significant performance improvement by a large margin compared with other state-of-the-art hand-crafted sequence features for AEC.

研究动机与目标

• 为解决在声学事件分类（AEC）中学习可变长度音频序列的稳健、判别性表示的挑战。
• 克服手工设计特征对环境变化敏感且通常需要手动调优的局限性。
• 开发一种无监督表示学习框架，利用大规模未标注音频数据，无需类别监督。
• 实现端到端学习序列级表示，以捕捉AEC所必需的长程时间依赖性。

提出的方法

• 采用序列到序列的自编码器架构，由双向RNN编码器和单向RNN解码器组成。
• 编码器将可变长度的输入音频序列（以特征向量形式）映射为固定长度的瓶颈向量表示。
• 解码器从学习到的向量表示中重建原始序列，通过重建损失进行训练，无需任何类别标签。
• 自编码器的输入包括原始和反转的特征序列，以增强时间模式的学习。
• 使用随机梯度下降端到端训练模型，将瓶颈层的输出用作最终的音频序列表示。
• 训练完成后，使用编码器从新音频序列中提取固定长度的表示，用于下游分类任务。

实验结果

研究问题

• RQ1 无监督深度学习框架能否有效学习可变长度音频序列的紧凑、信息丰富的表示，以实现声学事件分类？
• RQ2 所学习的序列表示性能与传统手工设计特征（如MFCC、eGeMAPS和AVEC11）相比如何？
• RQ3 所提出方法在多样化的声学事件类别中，尤其是那些训练样本稀疏的类别中，泛化能力如何？
• RQ4 所学习的表示是否能比帧级特征或固定长度池化策略更好地捕捉长程时间依赖性？

主要发现

• 所提出方法在使用GRU-RNN时，于229个声学事件类别上取得了47.7%的F1分数和39.0%的未加权准确率（UA），显著优于所有手工设计的特征集。
• 在测试的RNN-based自编码器变体中，ED:2048-1配置表现最佳，甚至在某些指标上超越了2D-CNN和注意力机制模型。
• 所学习的表示在SVM和GRU-RNN分类器上，始终优于基线特征（如BoAW、eGeMAPS、AVEC11和ComParE13）。
• 使用LDA进行可视化显示，所学习表示空间中各类别具有清晰的可分性，表明实现了有效的判别性学习。
• 该框架对可变长度输入表现出鲁棒性，能够有效将长序列压缩为固定维向量，同时保留关键事件特征。
• 结果表明，通过序列重建进行无监督预训练是学习AEC中通用音频表示的强大策略。