[论文解读] From Senones to Chenones: Tied Context-Dependent Graphemes for Hybrid Speech Recognition

Duc Le, Xiaohui Zhang+4 more|arXiv (Cornell University)|Oct 2, 2019

Speech Recognition and Synthesis参考文献 46被引用 9

一句话总结

本文提出 chenones——一种与上下文和位置相关的绑定字素——作为混合自动语音识别（ASR）中传统 senones 的新颖替代方案。通过直接建模字素的上下文和位置依赖性，基于 chenone 的系统在英语数据集上相较 senone 基线实现了 4.5% 至 11.1% 的相对 WER 改进，包括在 Librispeech 上取得最先进结果（test-clean 上为 3.2% WER），并且在罕见词和专有名词上的表现尤其优于 senones，挑战了语音词典在实现高性能 ASR 中必不可少的假设。

ABSTRACT

There is an implicit assumption that traditional hybrid approaches for automatic speech recognition (ASR) cannot directly model graphemes and need to rely on phonetic lexicons to get competitive performance, especially on English which has poor grapheme-phoneme correspondence. In this work, we show for the first time that, on English, hybrid ASR systems can in fact model graphemes effectively by leveraging tied context-dependent graphemes, i.e., chenones. Our chenone-based systems significantly outperform equivalent senone baselines by 4.5% to 11.1% relative on three different English datasets. Our results on Librispeech are state-of-the-art compared to other hybrid approaches and competitive with previously published end-to-end numbers. Further analysis shows that chenones can better utilize powerful acoustic models and large training data, and require context- and position-dependent modeling to work well. Chenone-based systems also outperform senone baselines on proper noun and rare word recognition, an area where the latter is traditionally thought to have an advantage. Our work provides an alternative for end-to-end ASR and establishes that hybrid systems can be improved by dropping the reliance on phonetic knowledge.

研究动机与目标

• 挑战主流假设，即由于英语中字素-音素对应关系差，混合 ASR 系统无法有效建模字素。
• 探究绑定上下文和位置依赖的字素（chenones）是否能在混合 ASR 中优于传统的绑定上下文依赖音素（senones）。
• 评估大规模声学模型和训练数据对基于 chenone 的系统相较于 senone 基线的影响。
• 评估 chenone 在罕见词和专有名词上的表现，这一领域传统上被认为是基于语音的系统的优势所在。
• 确定上下文和位置依赖建模对于有效字素 ASR 是否必要。

提出的方法

• 提出 chenones 作为绑定上下文和位置依赖的字素单元，替代混合 HMM-DNN ASR 框架中的传统 senones。
• 使用大规模 Librispeech 和内部数据集，通过端到端无图 lattice 自由 MMI（LF-MMI）训练声学模型。
• 使用决策树进行上下文依赖绑定，但直接在字素而非音素上进行模型训练。
• 在字素表示中引入大小写信息，以提升缩写词和大写字母的识别效果。
• 所有实验均在解码中使用 4-gram 语言模型，以确保与先前工作的公平比较。
• 开展消融研究，以分离分析上下文依赖性、位置依赖性以及训练数据规模对 chenone 性能的影响。

实验结果

研究问题

• RQ1 在字素-音素对应关系差的英语中，混合 ASR 系统能否使用字素而非音素实现具有竞争力的性能？
• RQ2 与上下文无关建模相比，上下文和位置依赖建模是否能显著提升基于字素的 ASR 性能？
• RQ3 在整体 WER 和罕见词/专有名词识别方面，chenone 系统与 senone 基线相比如何？
• RQ4 chenone 系统在多大程度上受益于模型容量提升和更大规模的训练数据？
• RQ5 当应用上下文和位置依赖性时，chenone 是否能在罕见词和长尾词上超越端到端模型？

主要发现

• 基于 chenone 的系统在 Librispeech test-clean 上实现 3.2% 的最先进 WER，在 test-other 上为 7.6%，仅使用 4-gram 语言模型，优于以往的混合方法。
• 在三个不同的英语数据集上，chenone 系统相较 senone 基线实现 4.5% 至 11.1% 的相对 WER 改进，且在更大规模训练集上提升最为显著。
• chenone 在专有名词和罕见词识别上显著优于 senones，当应用位置依赖性时，test-clean 上的相对 WER 改进达到 14.7%。
• 随着训练数据增加，chenone 与 senone 之间的性能差距进一步扩大，表明 chenone 更能有效利用大规模数据和模型容量。
• 上下文和位置依赖建模对 chenone 至关重要：移除任一都会导致 WER 显著下降，而 senones 对此类变化基本无影响。
• 具备大小写感知能力的字素建模可提升缩写词识别效果，在 vid-clean 上降低 0.4% WER，在 vid-noisy 上降低 0.1% WER，证明正字法特征具有实际价值。