[论文解读] Knowledge-driven Subword Grammar Modeling for Automatic Speech Recognition in Tamil and Kannada

A Madhavaraj, Bharathi Pilar+1 more|arXiv (Cornell University)|Jul 27, 2022

Speech Recognition and Synthesis被引用 5

一句话总结

本文提出了一种面向泰米尔语和泰卢固语的基于知识的子词语法建模方法，用于自动语音识别（ASR），通过手工整理的词素规则构建加权有限状态转换器（SG-WFST），实现子词分割。通过利用语言学知识定义动词、名词、代词和数词的前缀、中缀和后缀，该系统在基线词级ASR基础上将词错误率（WER）分别降低12.39%（泰米尔语）和13.56%（泰卢固语），同时保持较低的未登录词率。

ABSTRACT

In this paper, we present specially designed automatic speech recognition (ASR) systems for the highly agglutinative and inflective languages of Tamil and Kannada that can recognize unlimited vocabulary of words. We use subwords as the basic lexical units for recognition and construct subword grammar weighted finite state transducer (SG-WFST) graphs for word segmentation that captures most of the complex word formation rules of the languages. We have identified the following category of words (i) verbs, (ii) nouns, (ii) pronouns, and (iv) numbers. The prefix, infix and suffix lists of subwords are created for each of these categories and are used to design the SG-WFST graphs. We also present a heuristic segmentation algorithm that can even segment exceptional words that do not follow the rules encapsulated in the SG-WFST graph. Most of the data-driven subword dictionary creation algorithms are computation driven, and hence do not guarantee morpheme-like units and so we have used the linguistic knowledge of the languages and manually created the subword dictionaries and the graphs. Finally, we train a deep neural network acoustic model and combine it with the pronunciation lexicon of the subword dictionary and the SG-WFST graph to build the subword-ASR systems. Since the subword-ASR produces subword sequences as output for a given test speech, we post-process its output to get the final word sequence, so that the actual number of words that can be recognized is much higher. Upon experimenting the subword-ASR system with the IISc-MILE Tamil and Kannada ASR corpora, we observe an absolute word error rate reduction of 12.39% and 13.56% over the baseline word-based ASR systems for Tamil and Kannada, respectively.

研究动机与目标

• 为解决泰米尔语和泰卢固语等高度黏着的德拉威语系语言在ASR中面临高未登录词（OOV）率的问题。
• 克服数据驱动子词方法无法生成具有语言学意义的词素类单元的局限性。
• 设计一种基于子词的ASR系统，通过语言学知识建模复杂词形变化规则，实现对无限词汇量的识别能力。
• 通过结构化子词语法和启发式分割方法，与基线词级ASR系统相比，显著降低词错误率（WER）。
• 通过确定性后处理规则，实现从子词输出中恢复有效词序列的鲁棒性。

提出的方法

• 基于语言学知识手工构建子词词典，将词语分类为动词、名词、代词和数词。
• 为每类词语设计前缀、中缀和后缀列表，以建模泰米尔语和泰卢固语中的词形变化和黏着现象。
• 构建子词语法加权有限状态转换器（SG-WFST），通过子词单元的字符串连接表示有效的词形构成规则。
• 开发启发式分割算法，处理SG-WFST规则未覆盖的异常词。
• 将深度神经网络（DNN）声学模型与子词词典及语言模型WFST结合，构建最终的ASR解码图。
• 应用确定性后处理方法，通过上下文标记连接子词并去除标记，以恢复最终的词序列。

实验结果

研究问题

• RQ1 基于知识的子词语法规则模型能否有效降低泰米尔语和泰卢固语等高度黏着语言ASR中的OOV率？
• RQ2 与数据驱动的子词方法相比，基于语言学的子词分割方法在WER和词形准确性方面表现如何？
• RQ3 与基线词级ASR系统相比，SG-WFST驱动的子词建模在降低WER方面能提升多少？
• RQ4 启发式后分割方法能否有效处理SG-WFST语法规则未涵盖的异常词？
• RQ5 所提出的子词-ASR系统在其他自然语言处理任务（如词形还原和音译）中是否具备可扩展性和可重用性？

主要发现

• 所提出的子词-ASR系统在泰米尔语中实现了12.31%的词错误率（WER），相较于基线词级ASR系统绝对降低12.39%。
• 在泰卢固语中，系统实现了8.39%的WER，相较于基线词级ASR系统绝对提升13.56%。
• OOV率降低至泰米尔语1.68%和泰卢固语1.12%，主要由于测试集中专有名词和罕见词的影响。
• 手工构建的子词词典和SG-WFST确保了子词单元具有词形学意义，而数据驱动方法缺乏语言学一致性。
• 启发式分割算法成功处理了不符合SG-WFST语法规则的异常词。
• 通过上下文标记和确定性连接的后处理方法，有效从子词输出中重建了有效的词序列。