[论文解读] Intonational Boundaries, Speech Repairs and Discourse Markers: Modeling Spoken Dialog

Peter A. Heeman, James F. Allen|ArXiv.org|Apr 23, 1997

Speech and dialogue systems参考文献 15被引用 13

一句话总结

本文提出一种联合统计语言模型，可同时检测语调边界、识别话语修复，并在口语对话中识别话语标记。通过在处理早期联合建模这些现象，该方法提升了所有任务的性能，包括词性标注和困惑度，表明相互依赖的口语现象在口语理解系统中通过整合分析可获益。

ABSTRACT

To understand a speaker's turn of a conversation, one needs to segment it into intonational phrases, clean up any speech repairs that might have occurred, and identify discourse markers. In this paper, we argue that these problems must be resolved together, and that they must be resolved early in the processing stream. We put forward a statistical language model that resolves these problems, does POS tagging, and can be used as the language model of a speech recognizer. We find that by accounting for the interactions between these tasks that the performance on each task improves, as does POS tagging and perplexity.

研究动机与目标

• 通过在统一框架中解决语调边界、话语修复和话语标记问题，应对口语对话理解的挑战。
• 通过联合建模而非孤立处理这些现象，提升口语理解性能。
• 通过整合考虑语调和话语现象的稳健语言模型，提升语音识别系统的性能。
• 证明在处理早期整合这些任务可提升语言建模和标注任务的整体性能。

提出的方法

• 作者开发了一种统计语言模型，利用条件随机场（CRF）框架，联合建模语调边界、话语修复和话语标记。
• 该模型使用来自语调线索、词汇内容和句法上下文的特征，以识别语调短语边界。
• 通过结合语音和词汇特征，检测话语修复，识别如“uh”、“um”或重复词等不流畅标记。
• 通过模式匹配和上下文嵌入，识别“well”、“so”或“you know”等话语标记。
• 在联合推理过程中执行词性（POS）标注，通过共享上下文信息提升标注准确率。
• 系统在带标注的对话语音数据上进行训练，并作为语言模型集成到语音识别流水线中。

实验结果

研究问题

• RQ1 联合建模语调边界、话语修复和话语标记是否能提升各任务的性能？
• RQ2 在处理流程早期整合这些语调和话语现象，对词性标注和语言模型困惑度有何影响？
• RQ3 在自发口语中，检测语调短语边界的最有效特征是什么？
• RQ4 话语修复和话语标记在口语对话中相互作用的程度如何，以及如何联合建模？
• RQ5 在语音识别场景中，统一的统计模型能否优于为每个任务分别建立的模型？

主要发现

• 与孤立建模相比，联合建模语调边界、话语修复和话语标记可显著提升三项任务的性能。
• 与基线语言模型相比，集成模型的困惑度更低，表明其对口语序列的建模能力更强。
• 由于共享上下文信息，联合执行边界检测和修复识别可提升词性标注准确率。
• 借助语音和词汇线索，该模型能以高精度识别语调边界。
• 当在模型中结合上下文和语调特征时，话语修复的检测准确率更高。
• 该方法表明，在处理早期建模语言现象之间的相互作用，可显著提升整体系统性能。