[论文解读] Identifying Discourse Markers in Spoken Dialog

Peter A. Heeman, Donna Byron+1 more|arXiv (Cornell University)|Jan 17, 1998

Speech and dialogue systems参考文献 29被引用 33

一句话总结

本文提出一种机器学习方法，通过基于决策树的概率估计马尔可夫模型，将话语标记识别整合到词性标注和语音识别中。该方法提升了语言建模和词性标注的准确性，同时实现了话语角色的早期预测，表明话语标记显著增强了任务导向对话系统中的对话行为预测能力。

ABSTRACT

In this paper, we present a method for identifying discourse marker usage in spontaneous speech based on machine learning. Discourse markers are denoted by special POS tags, and thus the process of POS tagging can be used to identify discourse markers. By incorporating POS tagging into language modeling, discourse markers can be identified during speech recognition, in which the timeliness of the information can be used to help predict the following words. We contrast this approach with an alternative machine learning approach proposed by Litman (1996). This paper also argues that discourse markers can be used to help the hearer predict the role that the upcoming utterance plays in the dialog. Thus discourse markers should provide valuable evidence for automatic dialog act prediction.

研究动机与目标

• 开发一种可靠的方法，用于识别自发性、任务导向口语对话中的话语标记。
• 将话语标记检测整合到语音识别流程中，以提升语言建模和词性标注性能。
• 研究话语标记如何提示即将出现的话语角色，并在对话行为预测中发挥作用。
• 评估话语标记对语音识别和对话理解的影响，特别是在弱预期情境下（例如，邻接对后续话轮）。
• 与先前方法（如Litman的方法）进行比较，证明所提方法在话语结构建模方面的优势。

提出的方法

• 作者在Trains语料库中使用修改后的Penn Treebank词性标注集，添加四个特殊标记（UH_D、CC_D、RB_D、AC）对话语标记进行标注。
• 采用类似条件随机场（CRF）的马尔可夫模型，联合建模词性标注与话语标记识别，利用决策树对训练数据进行划分以估计概率。
• 模型结合了语音和语言特征，包括语调短语边界音高等，以提升话语标记识别效果。
• 将话语标记的存在与否作为下游任务（如对话行为预测）的特征，利用其对后续话语角色的预测能力。
• 系统在Trains语料库上进行训练，该语料库包含6.5小时自发语音中的8,278个话语标记，并通过词困惑度和标注错误率进行评估。
• 该方法将话语标记识别视为语音识别过程的一部分，而非独立分类任务，从而支持实时推理。

实验结果

研究问题

• RQ1 能否在语音识别框架内，利用机器学习可靠地识别自发性任务导向对话中的话语标记？
• RQ2 将话语标记识别整合到词性标注和语言建模中，对语音识别性能有何影响？
• RQ3 话语标记在多大程度上能提示即将出现话语的预期话语角色，特别是在模糊情境下？
• RQ4 话语标记能否提升口语对话系统中对话行为预测的准确性？
• RQ5 话语修复解析和话语片段分割在提升话语标记检测效果方面起到何种作用？

主要发现

• 将话语标记识别整合到词性标注和语言建模中，显著降低了词困惑度和词性标注错误率。
• 话语标记被发现对预测即将出现话语的语用角色具有高度预测性，尤其在缺乏强预期（如邻接对完成）的情境下更为显著。
• Trains语料库中44.1%的非确认性话轮均以话语标记开头，凸显其在任务导向对话中的普遍性。
• 利用决策树对训练数据进行划分，有效估计了马尔可夫模型的复杂概率分布，提升了模型泛化能力。
• 引入话语修复检测和语调短语边界分析进一步提高了话语标记识别的准确性。
• 结果表明，话语标记在口语对话系统中不应被视为噪声，而应作为预测话语结构和对话行为的宝贵线索。