[论文解读] AudRandAug: Random Image Augmentations for Audio Classification

Teerath Kumar, Muhammad Turab+3 more|arXiv (Cornell University)|Sep 9, 2023

Music and Audio Processing被引用 4

一句话总结

该论文提出了一种名为 AudRandAug 的新型音频分类数据增强方法，通过从经过筛选的音频专用变换搜索空间中选择最优增强方法，将 RandAug 框架适配至音频领域。该方法在 FSDD 上实现 5.16% 的准确率提升，在 UrbanSound8K 上实现 2.97% 的准确率提升（使用自定义 CNN）；在使用预训练 VGG 模型时，FSDD 上提升 3.00%，UrbanSound8K 上提升 2.26%。

ABSTRACT

Data augmentation has proven to be effective in training neural networks. Recently, a method called RandAug was proposed, randomly selecting data augmentation techniques from a predefined search space. RandAug has demonstrated significant performance improvements for image-related tasks while imposing minimal computational overhead. However, no prior research has explored the application of RandAug specifically for audio data augmentation, which converts audio into an image-like pattern. To address this gap, we introduce AudRandAug, an adaptation of RandAug for audio data. AudRandAug selects data augmentation policies from a dedicated audio search space. To evaluate the effectiveness of AudRandAug, we conducted experiments using various models and datasets. Our findings indicate that AudRandAug outperforms other existing data augmentation methods regarding accuracy performance.

研究动机与目标

• 为解决当前缺乏针对音频数据、类似 RandAug 风格的系统性数据增强方法的问题。
• 通过有效增强训练数据的多样性，提升音频分类模型的泛化能力与鲁棒性。
• 识别并选择最有效的音频专用增强技术，纳入专用搜索空间。
• 在多个模型与数据集上验证 AudRandAug 相较于现有数据增强技术的优越性。
• 为未来在音频表征学习领域的研究与应用，提供可复用且开源的实现。

提出的方法

• 通过定义包含 12 种音频专用增强操作的搜索空间，将 RandAug 框架适配至音频领域，包括噪声注入、音高偏移、时间拉伸、削波、反向播放、带通滤波、增益调节以及时间掩码等操作。
• 在训练过程中从搜索空间中随机应用增强策略，选择固定数量的操作（r=2），并从预定义范围内随机采样其强度值。
• 在将原始音频信号转换为梅尔频谱图之前进行预处理，因为信号级增强相比特征级增强表现更优。
• 将梅尔频谱图调整为 32×32 尺寸，以保持与卷积神经网络兼容的图像化输入格式。
• 将 AudRandAug 作为模型训练前的预处理步骤集成，确保所有增强操作以可微且一致的方式应用。
• 所使用的搜索空间基于实证评估结果，排除了无效增强方法（如未带来性能提升的填充操作）。

实验结果

研究问题

• RQ1 通过定义合适的音频专用增强操作搜索空间，能否有效将 RandAug 范式适配至音频数据？
• RQ2 在多种数据集与模型上，哪些音频增强技术能带来最显著的分类准确率提升？
• RQ3 在音频分类任务中，AudRandAug 相较于基线数据增强方法，在准确率与泛化能力方面表现如何？
• RQ4 当应用于自定义模型与预训练模型（如 VGG）时，AudRandAug 是否能保持性能增益？
• RQ5 在经过筛选的音频增强空间中进行随机搜索，能否优于手工设计或启发式增强策略？

主要发现

• 在使用自定义 CNN 的 Free Spoken Digits Dataset (FSDD) 上，AudRandAug 相较基线实现了 5.16% 的绝对准确率提升，优于所有单独使用的增强技术。
• 在 UrbanSound8K 数据集上，使用自定义 CNN 时，AudRandAug 相较基线提升了 1.37% 的准确率，表明其在不同数据集上均具有一致的增益效果。
• 使用预训练 VGG 模型时，AudRandAug 在 FSDD 上实现 2.97% 的绝对准确率提升，在 UrbanSound8K 上实现 2.26% 的提升，证实其在不同网络架构下的有效性。
• 该方法优于所有单独使用的增强技术，包括噪声注入、音高偏移与时间拉伸，后者单独使用时增益较小。
• 通过实证评估，搜索空间被精炼为排除了无效方法（如填充操作），仅保留高性能增强技术，确保了增强策略的质量。
• 在转换为梅尔频谱图之前进行信号级增强，相比特征级增强表现更优，验证了预处理流程设计的合理性。