[论文解读] Adapting general-purpose speech recognition engine output for domain-specific natural language question answering

C. Anantaram, Sunil Kumar Kopparapu|arXiv (Cornell University)|Oct 12, 2017

Topic Modeling参考文献 9被引用 4

一句话总结

本文提出两种后处理方法——进化发育（Evo-Devo）和机器学习（ML）——以纠正通用自动语音识别（gp-ASR）输出在自然语言问答（NLP）系统中的领域特定错误。Evo-Devo 方法使用生物启发的修复规则来纠正领域术语，准确率达到 89.3%；ML 方法则利用基于特征的分类（例如，左右文、元音/辅音词袋）来提升错误检测能力，相较于基线模型实现 32.28% 的准确率提升。

ABSTRACT

Speech-based natural language question-answering interfaces to enterprise systems are gaining a lot of attention. General-purpose speech engines can be integrated with NLP systems to provide such interfaces. Usually, general-purpose speech engines are trained on large `general' corpus. However, when such engines are used for specific domains, they may not recognize domain-specific words well, and may produce erroneous output. Further, the accent and the environmental conditions in which the speaker speaks a sentence may induce the speech engine to inaccurately recognize certain words. The subsequent natural language question-answering does not produce the requisite results as the question does not accurately represent what the speaker intended. Thus, the speech engine's output may need to be adapted for a domain before further natural language processing is carried out. We present two mechanisms for such an adaptation, one based on evolutionary development and the other based on machine learning, and show how we can repair the speech-output to make the subsequent natural language question-answering better.

研究动机与目标

• 解决通用 ASR 引擎在企业应用中识别领域特定术语时表现不佳的问题。
• 降低 ASR 输出中的错误，以减轻其对下游自然语言问答（NLP）准确率的负面影响。
• 实现无需为每个新领域重新训练的灵活、可重用的 gp-ASR 输出适配机制。
• 评估两种不同的适配机制：Evo-Devo（生物启发的修复）和基于 ML 的错误 ASR 输出分类。
• 证明后 ASR 修正可显著提升真实企业环境中问答系统的性能。

提出的方法

• Evo-Devo 机制将 ASR 输出视为生物实体，通过迭代变异和适应度评估，应用修复规则来纠正领域特定术语。
• 该方法使用适应度函数评估修复后句子与预期领域特定语言模式的匹配程度。
• 基于 ML 的方法使用 $({{T^{ ext{'}}, T}})$ 对进行训练，其中 $T^{ ext{'}}$ 为错误的 ASR 输出，$T$ 为正确的参考句子。
• 特征包括左右文、词数，以及 ASR 输出的元音/辅音词袋，用于指导错误类型的分类。
• 分类器采用 10 折交叉验证评估性能，特征组合经优化以实现最大准确率提升。
• 系统假设使用人工标注的错误标签进行训练和测试，重点在于纠正误识别的领域术语。

实验结果

研究问题

• RQ1 生物启发的进化发育机制能否有效修复企业 NLP 系统中 ASR 输出的领域特定错误？
• RQ2 基于机器学习的分类器在利用语言和上下文特征检测并纠正 ASR 错误方面效果如何？
• RQ3 哪些特征组合能为 ASR 错误纠正带来最高的分类准确率提升？
• RQ4 后 ASR 适配能否在不重新训练 ASR 模型的前提下显著提升下游问答系统的性能？
• RQ5 两种适配机制在不同领域特定错误类型下的准确率和鲁棒性方面表现如何比较？

主要发现

• Evo-Devo 方法在测试集上实现了 89.3% 的准确率，证明其在修复领域特定术语方面表现强劲。
• 当使用特征组合：辅音词袋、元音词袋、左文、词数和右文时，ML 方法相较于基线实现了 32.28% 的分类准确率提升。
• Evo-Devo 方法在领域特定术语上的准确率更高，但需精心设计语言规则以避免性能下降。
• ML 方法通过利用上下文和语音特征，有效识别并纠正误识别的词语，优于基线方法。
• 两种机制均显著提升了 ASR 输出质量，使企业系统中的下游自然语言问答更加准确。
• 结果证实，后 ASR 修正是一种可行且有效的策略，可用于将通用 ASR 适配至领域特定的企业应用。