[论文解读] Face: Fast, Accurate and Context-Aware Audio Annotation and Classification

Mohammad Morsali, Hoda Mohammadzade+1 more|arXiv (Cornell University)|Mar 7, 2023

Music and Audio Processing被引用 5

一句话总结

本文提出FACE，一种上下文感知的框架，用于使用启发式特征选择、音频节拍表示（tempogram）和上下文感知主动学习实现快速、准确的音频注释与分类。该方法仅用15%的标注数据即实现90%的注释准确率，在UrbanSound8K数据集上达到98.05%的分类准确率，通过高效且抗过拟合的设计与动态学习策略优于先前方法。

ABSTRACT

This paper presents a context-aware framework for feature selection and classification procedures to realize a fast and accurate audio event annotation and classification. The context-aware design starts with exploring feature extraction techniques to find an appropriate combination to select a set resulting in remarkable classification accuracy with minimal computational effort. The exploration for feature selection also embraces an investigation of audio Tempo representation, an advantageous feature extraction method missed by previous works in the environmental audio classification research scope. The proposed annotation method considers outlier, inlier, and hard-to-predict data samples to realize context-aware Active Learning, leading to the average accuracy of 90% when only 15% of data possess initial annotation. Our proposed algorithm for sound classification obtained average prediction accuracy of 98.05% on the UrbanSound8K dataset. The notebooks containing our source codes and implementation results are available at https://github.com/gitmehrdad/FACE.

研究动机与目标

• 为解决手动音频注释带来的高成本与时间负担，开发一种快速、准确且上下文感知的标注框架。
• 通过整合上下文感知的特征选择与动态模型自适应，提升在低数据量场景下的分类性能。
• 在训练数据稀缺时，减少音频分类模型的过拟合现象，特别是在主动学习设置下。
• 探索音频节拍表示（tempogram）作为环境声音分类中一种新颖且高价值特征的有效性。
• 在仅使用极少标注数据的前提下，实现在音频注释与分类任务上的最先进性能。

提出的方法

• 一种上下文感知的特征选择启发式方法从原始音频信号中识别出紧凑且固定大小的输入向量，最大限度降低计算成本与过拟合风险。
• 该方法采用一种新颖的音频节拍表示（tempogram）作为关键特征提取技术，此前在环境音频分类中被忽视。
• 一种上下文感知的主动学习策略动态选择不确定、内点及难以预测的样本进行标注，提升注释效率。
• 采用五流并行、宽度扩展的卷积神经网络块与批量归一化，实现快速、准确的分类。
• 模型使用随机梯度下降（SGD）优化，学习率为0.01，并采用dropout进行正则化，通过10%的验证集进行调优。
• 该框架将主动学习与半监督推理相结合，仅使用0.9%的标注测试数据即实现100%的准确率。

实验结果

研究问题

• RQ1 上下文感知的特征选择策略是否能在显著提升分类准确率的同时降低计算成本，从而改善音频事件分类的性能？
• RQ2 与传统方法相比，将音频节拍表示（tempogram）作为特征在环境声音分类中的有效性如何？
• RQ3 上下文感知的主动学习是否能在极低初始标注预算（如15%）下实现高注释准确率？
• RQ4 基于系统状态（如不确定性、数据难度）的动态模型自适应在多大程度上能提升学习效率与准确率？
• RQ5 轻量级且抗过拟合的神经网络架构是否能在UrbanSound8K等标准音频基准上实现最先进性能？

主要发现

• FACE在UrbanSound8K数据集上仅用15%的初始标注数据即实现90%的注释准确率，较最佳先前方法提升29%。
• 所提出的音频分类模型在UrbanSound8K数据集上达到98.05%的最先进准确率，超越所有先前报告的结果。
• 通过主动学习，模型仅标注0.9%的测试数据即实现100%的分类准确率，证明了其极高的标注效率。
• 将tempogram作为特征的整合显著提升了分类性能，凸显其在音频表征学习中被低估的价值。
• 上下文感知的主动学习策略有效优先选择信息丰富的样本，减少标注工作量的同时最大化准确率提升。
• 该模型在免费的Google Colab GPU上，不到一分钟内处理近8,000个音频样本，准确率达90%，证明了其具备实时可行性。