[论文解读] Lexical Access for Speech Understanding using Minimum Message Length Encoding

Ian B. Thomas, Ingrid Zukerman+3 more|arXiv (Cornell University)|Feb 6, 2013

Algorithms and Data Compression参考文献 13被引用 3

一句话总结

本文提出一种基于最小消息长度（MML）编码的方法，通过从音素输入推断最可能的词序列来解决语音理解中的词汇访问问题。通过建模音素实现并利用文本语料中的词和词性（POS）统计信息，该方法在连续、多说话人语音中实现了高精度识别，同时采用基于音似词等价类的速度优化启发式方法，在不显著损失精度的前提下保持了高效率。

ABSTRACT

The Lexical Access Problem consists of determining the intended sequence of words corresponding to an input sequence of phonemes (basic speech sounds) that come from a low-level phoneme recognizer. In this paper we present an information-theoretic approach based on the Minimum Message Length Criterion for solving the Lexical Access Problem. We model sentences using phoneme realizations seen in training, and word and part-of-speech information obtained from text corpora. We show results on multiple-speaker, continuous, read speech and discuss a heuristic using equivalence classes of similar sounding words which speeds up the recognition process without significant deterioration in recognition accuracy.

研究动机与目标

• 解决词汇访问问题——在语音理解中将音素序列映射为预期的词序列。
• 开发一种基于信息论的最小消息长度（MML）编码方法，实现最优词序列推断。
• 通过将发音相似的词分组为等价类，提升识别效率。
• 在连续、多说话人、朗读语音数据上评估该方法，输入为真实的音素识别输出。
• 利用基于MML的压缩原理，在识别精度与计算速度之间实现平衡。

提出的方法

• 该方法使用MML建模词序列及其语音实现的联合概率，最小化假设与数据的总消息长度。
• 结合训练数据中的音素级实现与文本语料中的词频及词性（POS）分布。
• MML准则选择能最好压缩输入音素序列的词序列，兼顾数据拟合与模型简洁性。
• 启发式方法将发音相似的词分组为等价类，降低解码过程中的搜索空间。
• 系统使用从文本语料中提取的基于概率的语言模型，指导词序列选择。
• 解码过程应用MML对候选词序列进行排序，优先选择消息长度最小的序列。

实验结果

研究问题

• RQ1 最小消息长度准则能否有效解决语音理解中的词汇访问问题？
• RQ2 与传统方法相比，基于MML的词序列推断在精度与效率方面表现如何？
• RQ3 在不降低识别精度的前提下，发音相似的词在多大程度上可被分组为等价类？
• RQ4 当音素识别输出存在噪声时，MML模型在连续、多说话人、朗读语音上的表现如何？
• RQ5 等价类启发式方法能否显著降低计算成本，同时保持识别质量？

主要发现

• 基于MML的方法在连续、多说话人语音中实现了将音素序列准确映射为正确词序列的高精度。
• 对发音相似词使用等价类分组显著降低了计算复杂度，且对识别精度影响极小。
• 该方法在朗读语音数据上表现出强鲁棒性，即使音素识别输出存在不完美情况亦能保持良好性能。
• 整合文本语料统计信息（词频与POS频率）显著提升了模型解析模糊音素序列的能力。
• MML框架有效平衡了模型复杂度与数据拟合，实现了最优词序列推断。
• 启发式方法显著提升了解码速度，使系统更适用于实时应用场景。