[论文解读] auDeep: Unsupervised Learning of Representations from Audio with Deep Recurrent Neural Networks

Michael Freitag, Shahin Amiriparian+3 more|arXiv (Cornell University)|Dec 12, 2017

Music and Audio Processing被引用 123

一句话总结

auDeep 是一个用于从音频进行无监督表示学习的 Python 工具包，使用循环序列到序列自编码器从频谱图中生成表示，与最先进的音频分类方法相比具有竞争力。

ABSTRACT

auDeep is a Python toolkit for deep unsupervised representation learning from acoustic data. It is based on a recurrent sequence to sequence autoencoder approach which can learn representations of time series data by taking into account their temporal dynamics. We provide an extensive command line interface in addition to a Python API for users and developers, both of which are comprehensively documented and publicly available at https://github.com/auDeep/auDeep. Experimental results indicate that auDeep features are competitive with state-of-the art audio classification.

研究动机与目标

• 将音频的无监督深度表示学习作为对手工设计特征的替代方案来提出动机。
• 开发一个循环序列到序列自编码器，以捕捉频谱图序列中的时序动态。
• 提供一个开源的、基于 TensorFlow 的工具包，具备 Python API 和命令行界面用于音频表示学习。

提出的方法

• 实现由 RNNs（LSTM/GRU）构建的序列到序列自编码器，将输入序列编码为最终隐藏状态。
• 训练编码器以初始化解码器，通过最小化均方根误差来重建输入序列。
• 在被视为时序依赖的频谱图上进行训练，以从一个全连接层产生固定长度的表示。
• 提供一个易于使用的工具包，具备 NetCDF 数据处理、可选元数据，以及用于评估的内置分类器（MLP 和 LibLINEAR）。
• 在可用时利用 GPU 加速，并将模型拓扑/参数存储为 TensorFlow 检查点。

实验结果

研究问题

• RQ1 来自音频频谱图的无监督 seq2seq 学习表示是否为音频分类任务提供具有竞争力的特征？
• RQ2 在声学场景分类、环境声音分类和音乐流派分类等任务中，auDeep 表示与基线方法及最先进方法相比如何？
• RQ3 架构选择（如层数、RNN 类型）对表示质量和分类性能有什么影响？
• RQ4 是否可以通过其 API、CLI 和数据导出选项将 auDeep 的表示轻松集成到标准 ML 流水线中？

主要发现

• auDeep 的特征在多个人音频分类数据集上与最先进方法具有竞争力。
• auDeep 在已评估的数据集上与卷积神经网络方法和稀疏编码方法相当甚至优于它们，但在与外部预训练模型的比较方面有一些注意事项。
• SoundNet 在 ESC-10 和 ESC-50 上取得更强的性能，但 auDeep 仅在 ESC-10/ESC-50 数据上进行训练（未在外部数据上预训练）。
• 该工具包提供内置分类器（带 softmax 的 MLP 和 LibLINEAR），以在同一框架内评估学习到的表示。
• auDeep 是开源的、基于 TensorFlow，并支持 CPU-only 或 GPU 加速执行，数据以 NetCDF 处理，导出选项支持 CSV/ARFF。