[论文解读] Hybrid CTC-Attention based End-to-End Speech Recognition using Subword Units

Zhangyu Xiao, Zhijian Ou+2 more|arXiv (Cornell University)|Jul 13, 2018

Speech Recognition and Synthesis参考文献 21被引用 4

一句话总结

该论文提出了一种基于字节对编码（BPE）子词单元的混合 CTC-Attention 端到端语音识别系统，在未使用词典或外部语言模型的情况下，于 LibriSpeech 的 test_clean 数据集上实现了 6.8% 的 WER。该方法通过子词单元有效缓解了 OOV 问题，并更有效地建模长距离上下文，相较于字符级系统，WER 相对降低了 12.8%。

ABSTRACT

In this paper, we present an end-to-end automatic speech recognition system, which successfully employs subword units in a hybrid CTC-Attention based system. The subword units are obtained by the byte-pair encoding (BPE) compression algorithm. Compared to using words as modeling units, using characters or subword units does not suffer from the out-of-vocabulary (OOV) problem. Furthermore, using subword units further offers a capability in modeling longer context than using characters. We evaluate different systems over the LibriSpeech 1000h dataset. The subword-based hybrid CTC-Attention system obtains 6.8% word error rate (WER) on the test_clean subset without any dictionary or external language model. This represents a significant improvement (a 12.8% WER relative reduction) over the character-based hybrid CTC-Attention system.

研究动机与目标

• 为解决字符级端到端 ASR 的局限性，如对长距离依赖建模能力差和数据稀疏性高。
• 通过使用子词单元克服词级和音素级系统固有的未登录词（OOV）问题。
• 探索在子词单元基础上，结合 CTC 和注意力损失的混合架构的有效性。
• 评估子词单元大小和训练数据规模对系统性能的影响。

提出的方法

• 使用字节对编码（BPE）算法在完整训练转录语料上生成子词单元。
• 采用混合 CTC-Attention 神经网络架构，结合 CTC 损失实现单调对齐，以及基于注意力的解码器损失实现上下文感知生成。
• 模型使用 8 层双向 LSTM 编码器，配备批量归一化，以及带位置注意力机制的单向 LSTM 解码器。
• 训练采用 Adadelta 优化器，配合梯度裁剪，并使用加权组合的 CTC 和注意力损失，其中超参数 λ 调优至 0.2。
• 推理阶段采用束搜索解码，束宽为 20，系统在 1000 小时 LibriSpeech 数据上训练，使用 4 块 Tesla K80 GPU。
• 子词单元词汇表大小设为 500，且在评估时未使用任何外部语言模型或词典。

实验结果

研究问题

• RQ1 与字符级建模相比，子词单元是否能在混合 CTC-Attention 框架中提升端到端语音识别性能？
• RQ2 使用子词单元如何影响端到端 ASR 中的未登录词（OOV）问题和长上下文建模能力？
• RQ3 在不使用外部语言模型的情况下，实现 LibriSpeech 上低 WER 的最优子词单元数量是多少？
• RQ4 训练数据规模如何影响基于子词的端到端 ASR 系统的性能？

主要发现

• 基于子词的混合 CTC-Attention 系统在 LibriSpeech test_clean 数据集上实现了 6.8% 的 WER，且未使用任何词典或外部语言模型。
• 与字符级混合系统相比，该结果实现了 12.8% 的相对 WER 降低，表明性能有显著提升。
• 使用 1000 个子词单元的性能略优于字符级模型，但随着子词词汇表增大（如 1000 单位），性能因数据稀疏性而下降。
• 在 100 小时数据上训练的模型在 test_clean 上达到 34.7% WER，而在 500 小时时降至 10.4%，1000 小时时进一步降低至 6.8%，表明数据规模具有显著的正向影响。
• 混合损失的最优 λ 值为 0.2；若将 λ 增加至 0.5，则性能下降，原因是 CTC 在缺乏语言建模时表现较差。
• 子词单元实现了开放词汇识别，改善了罕见词或复合词的建模能力，相比词级单元显著降低了 OOV 问题。