[论文解读] Snore-GANs: Improving Automatic Snore Sound Classification with Synthesized Data

Zixing Zhang, Jing Han+4 more|arXiv (Cornell University)|Mar 29, 2019

Music and Audio Processing参考文献 51被引用 4

一句话总结

本文提出 Snore-GANs，一种用于自动打鼾声音分类（ASSC）数据增强的半监督条件生成对抗网络。通过生成保留类别特性的合成打鼾声音，该方法显著提升了分类性能，在测试集上达到 56.7% 的未加权平均召回率（UAR），超越了最先进端到端模型，并优于传统数据增强技术（如 SMOTE）。

ABSTRACT

One of the frontier issues that severely hamper the development of automatic snore sound classification (ASSC) associates to the lack of sufficient supervised training data. To cope with this problem, we propose a novel data augmentation approach based on semi-supervised conditional Generative Adversarial Networks (scGANs), which aims to automatically learn a mapping strategy from a random noise space to original data distribution. The proposed approach has the capability of well synthesizing 'realistic' high-dimensional data, while requiring no additional annotation process. To handle the mode collapse problem of GANs, we further introduce an ensemble strategy to enhance the diversity of the generated data. The systematic experiments conducted on a widely used Munich-Passau snore sound corpus demonstrate that the scGANs-based systems can remarkably outperform other classic data augmentation systems, and are also competitive to other recently reported systems for ASSC.

研究动机与目标

• 为解决自动打鼾声音分类（ASSC）中的数据稀缺问题，该问题限制了深度学习模型的性能。
• 开发一种无需人工标注即可生成高质量、类别特异性打鼾声音样本的数据增强技术。
• 通过合成多样化、逼真的打鼾音频数据，提升 ASSC 系统的鲁棒性与泛化能力。
• 评估半监督条件 GAN（scGAN）在生成提升下游分类性能数据方面的有效性。
• 在慕尼黑-帕骚打鼾声音语料库上，将所提方法与传统数据增强方法及最先进 ASSC 系统进行对比。

提出的方法

• 该方法采用半监督条件 GAN（scGAN）生成以类别标签为条件的合成打鼾声音样本。
• 生成器网络学习生成与训练集中真实打鼾声音统计分布相匹配的音频样本。
• 判别器以半监督方式训练，结合真实数据与生成样本，以提升泛化能力并减少模式崩溃。
• 使用 scGAN 集成方法缓解模式崩溃，提升数据多样性与质量。
• 将生成数据与真实数据结合，用于训练下游分类器（如 SVM 和 GRU-RNN）。
• 采用多种特征类型进行评估：函数特征、音频词袋（BoAW）和低级描述符（LLDs）。

实验结果

研究问题

• RQ1 半监督条件 GAN 是否能有效生成逼真的打鼾声音样本并提升分类性能？
• RQ2 与传统数据增强方法（如 SMOTE）相比，基于 scGAN 的数据增强在 ASSC 中表现如何？
• RQ3 scGAN 集成是否能减少模式崩溃，并提升生成打鼾声音的多样性与质量？
• RQ4 所提数据增强方法在 MPSSC 数据库上相较于最先进 ASSC 系统的性能提升程度如何？
• RQ5 生成数据是否能提供类别特异性信息，从而增强模型在不同打鼾声音类别上的泛化能力？

主要发现

• 采用集成 scGAN 的 Snore-GANs 在测试集上实现了 56.7% 的未加权平均召回率（UAR），显著优于端到端系统 [57] 的 40.3% UAR。
• 基于 scGAN 的方法在所有特征类型（函数特征、BoAW 和 LLD）上均提升了性能，展现出良好的鲁棒性与泛化能力。
• 该方法优于传统数据增强技术（如 SMOTE），后者仅在基线基础上带来微小提升，可能因训练集中已存在先验过采样。
• scGAN 集成有效缓解了模式崩溃，生成的合成数据在质量与多样性上均优于单个 GAN。
• 性能最佳的配置（使用 LLD 特征、GRU-RNN 与基于 scGAN 的数据增强）在测试集上达到 54.4% UAR，标准差为 ±3.8%，表明结果高度一致。
• 结果证实，通过 scGAN 进行数据增强可提供有意义的类别特异性信息，显著提升模型性能，尤其在低数据场景下。