[论文解读] MixSpeech: Data Augmentation for Low-resource Automatic Speech Recognition

Linghui Meng, Jin Xu+4 more|arXiv (Cornell University)|Feb 25, 2021

Speech Recognition and Synthesis参考文献 28被引用 6

一句话总结

MixSpeech 是一种针对低资源自动语音识别（ASR）的新型数据增强方法，通过使用加权平均将两个语音特征（例如梅尔频谱图）混合，同时在训练中使用相同的损失权重联合优化对应的文本转录。该方法在 TIMIT 数据集上相比 SpecAugment 实现了 10.6% 的相对电话错误率（PER）降低，在 WSJ 上达到 4.7% 的 WER，优于基线模型和现有增强技术。

ABSTRACT

In this paper, we propose MixSpeech, a simple yet effective data augmentation method based on mixup for automatic speech recognition (ASR). MixSpeech trains an ASR model by taking a weighted combination of two different speech features (e.g., mel-spectrograms or MFCC) as the input, and recognizing both text sequences, where the two recognition losses use the same combination weight. We apply MixSpeech on two popular end-to-end speech recognition models including LAS (Listen, Attend and Spell) and Transformer, and conduct experiments on several low-resource datasets including TIMIT, WSJ, and HKUST. Experimental results show that MixSpeech achieves better accuracy than the baseline models without data augmentation, and outperforms a strong data augmentation method SpecAugment on these recognition tasks. Specifically, MixSpeech outperforms SpecAugment with a relative PER improvement of 10.6$\%$ on TIMIT dataset, and achieves a strong WER of 4.7$\%$ on WSJ dataset.

研究动机与目标

• 为解决低资源自动语音识别（ASR）中训练数据标签有限的挑战，提出一种更有效的数据增强策略。
• 克服现有增强方法（如 SpecAugment）的局限性，后者需要大量超参数调优且缺乏对比信号。
• 将原本用于分类任务的 mixup 技术适配至序列生成任务（如 ASR），其中输入和输出均为序列且长度可变。
• 通过在训练过程中混合两个不同的语音输入，引入对比信号，提升模型泛化能力。
• 开发一种简单、鲁棒的增强方法，仅需极少超参数，从而在多种低资源数据集上提升性能。

提出的方法

• MixSpeech 通过使用 β 分布的混合系数 λ，对两个语音特征（如梅尔频谱图或 MFCC）进行加权平均，形成混合输入 X_mix = λX_i + (1−λ)X_j。
• 模型同时学习原始文本转录 y_i 和 y_j，每个损失使用与输入混合中相同的 λ 进行加权。
• 与标准 mixup 不同，MixSpeech 不混合目标序列；而是独立使用两个标签，并以相同的 λ 组合其损失，从而保持标签完整性。
• 该方法在训练中通过随机选择一批样本中比例 τ 的样本进行混合，其余样本则按常规方式训练。
• 该方法兼容端到端 ASR 模型（如 LAS 和 Transformer），并可无缝集成到使用 CTC 和交叉熵损失的多任务学习框架中。
• 该方法仅需单一关键超参数 λ，避免了如 SpecAugment 等方法所需的复杂调参。

实验结果

研究问题

• RQ1 基于 mixup 的数据增强能否有效适配自动语音识别任务（一种具有可变长度输出的序列到序列生成任务）？
• RQ2 通过混合两个不同语音样本引入对比信号，是否能提升低资源设置下的 ASR 泛化能力？
• RQ3 在多样化的低资源 ASR 基准测试中，MixSpeech 与成熟的数据增强方法（如 SpecAugment）相比性能如何？
• RQ4 混合比例 τ（每批次中混合样本的比例）的变化对模型性能和鲁棒性有何影响？
• RQ5 将 mixup 扩展至超过两个输入（如 Tri-mixup）是否能进一步提升性能，还是因信号过度混合而造成性能下降？

主要发现

• 在 TIMIT 数据集上，MixSpeech 实现了 19.5% 的电话错误率（PER），相比 SpecAugment 的 20.5% 实现了 10.6% 的相对提升，相比基线模型的 21.8% 实现了 1.3% 的绝对提升。
• 在 WSJ 数据集上，MixSpeech 将词错误率（WER）降低至 4.7%，优于基线模型（5.9%）和 SpecAugment（5.4%）。
• 在 HKUST 普通话数据集上，MixSpeech 实现了 22.9% 的 WER，优于基线模型（23.9%）和 SpecAugment（23.5%）。
• MixSpeech 的性能对混合比例 τ 具有鲁棒性，即使 τ 从 15% 增加到 30%，PER 仍保持在 22.0% 以下。
• Tri-mixup（将 mixup 扩展至三个输入）显著降低性能（PER: 35.8%），表明过度混合会损害模型学习。
• 虽然噪声正则化有一定帮助，但 MixSpeech 表现更优，在 TIMIT 上实现 21.8% 的 PER，优于噪声正则化的 22.0%。