[论文解读] Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech

Andreas Stolcke, K. Ries+8 more|arXiv (Cornell University)|Jan 1, 2000

Speech and dialogue systems参考文献 13被引用 87

一句话总结

本文提出了一种统计对话行为建模框架，通过隐马尔可夫模型和n-gram语法整合词汇、语调和话语层面线索，以提升对话语音中的自动标注与识别性能。在转录语音上，该框架实现了71%的对话行为分类准确率，显著优于随机水平（35%），并接近人类水平表现（84%），同时实现了适度的词错误率降低。

ABSTRACT

We describe a statistical approach for modeling dialogue acts in conversational speech, i.e., speech-act-like units such as Statement, Question, Backchannel, Agreement, Disagreement, and Apology. Our model detects and predicts dialogue acts based on lexical, collocational, and prosodic cues, as well as on the discourse coherence of the dialogue act sequence. The dialogue model is based on treating the discourse structure of a conversation as a hidden Markov model and the individual dialogue acts as observations emanating from the model states. Constraints on the likely sequence of dialogue acts are modeled via a dialogue act n-gram. The statistical dialogue grammar is combined with word n-grams, decision trees, and neural networks modeling the idiosyncratic lexical and prosodic manifestations of each dialogue act. We develop a probabilistic integration of speech recognition with dialogue modeling, to improve both speech recognition and dialogue act classification accuracy. Models are trained and evaluated using a large hand-labeled database of 1,155 conversations from the Switchboard corpus of spontaneous human-to-human telephone speech. We achieved good dialogue act labeling accuracy (65% based on errorful, automatically recognized words and prosody, and 71% based on word transcripts, compared to a chance baseline accuracy of 35% and human accuracy of 84%) and a small reduction in word recognition error.

研究动机与目标

• 开发一种用于自发对话语音中自动对话行为标注的统计框架。
• 将词汇、语调和话语层面等多种线索整合进统一的概率模型中。
• 通过在识别过程中引入对话行为上下文，提升语音识别的准确性。
• 在大规模人工标注的自发电话对话语料库上评估该模型。
• 探索将对话行为建模作为连续语音识别中约束条件的可行性。

提出的方法

• 话语结构被建模为隐马尔可夫模型（HMM），其中对话行为作为隐藏状态的可观测输出。
• 使用对话行为n-gram来建模对话行为序列的约束，以捕捉话语连贯性。
• 词汇和语调特征通过词n-gram、决策树和在自动识别语音及语调线索上训练的神经网络进行建模。
• 通过利用话语上下文约束词候选，实现对话行为建模与连续语音识别的概率整合。
• 该模型在Switchboard语料库的1,155个手工标注对话上进行训练与评估。
• 神经网络通过后验概率估计进行训练，以整合包括语调和词汇特征在内的多样化知识源。

实验结果

研究问题

• RQ1 统计模型能否有效结合词汇、语调和话语层面线索，实现自发语音中的对话行为识别？
• RQ2 整合对话行为建模如何提升语音识别的准确性？
• RQ3 话语语法（n-gram约束）对对话行为分类性能有何影响？
• RQ4 不同建模组件（如决策树与神经网络）对分类准确率有何影响？
• RQ5 对话行为建模在多大程度上降低了自动语音识别中的词错误率？

主要发现

• 当使用自动识别的词汇和语调时，模型实现了65%的对话行为分类准确率，远超35%的随机基线水平。
• 当使用词转录而非自动识别时，准确率提升至71%，接近人类表现水平（84%）。
• 将对话行为建模整合进语音识别过程，带来了小而可观测的词错误率降低。
• 模型性能对建模组件的选择（如回溯n-gram与最大熵模型）具有较强的鲁棒性。
• 在后验概率上训练的神经网络在整合多样化特征方面展现出潜力，尽管提升有限，表明通过更优的特征提取仍有进一步改进空间。
• 对话行为分布的偏态性——尤其是“陈述”类的主导地位——限制了对话行为建模在语音识别中带来的整体收益。