[论文解读] Improving Dialogue Act Classification for Spontaneous Arabic Speech and Instant Messages at Utterance Level

AbdelRahim Elmadany, Sherif Abdou+1 more|arXiv (Cornell University)|May 30, 2018

Speech and dialogue systems被引用 4

一句话总结

本文提出了一种用于非正式埃及口语和即时消息的分层统计对话行为分类模型，采用多类结构与支持向量机（SVM）。该模型在人工标注的多语域呼叫中心语料库上进行训练，平均F-measure达到0.912，相较于基线方法提升了约20%，显著提升了对非正式阿拉伯语对话语境的理解能力。

ABSTRACT

The ability to model and automatically detect dialogue act is an important step toward understanding spontaneous speech and Instant Messages. However, it has been difficult to infer a dialogue act from a surface utterance because it highly depends on the context of the utterance and speaker linguistic knowledge; especially in Arabic dialects. This paper proposes a statistical dialogue analysis model to recognize utterance's dialogue acts using a multi-classes hierarchical structure. The model can automatically acquire probabilistic discourse knowledge from a dialogue corpus were collected and annotated manually from multi-genre Egyptian call-centers. Extensive experiments were conducted using Support Vector Machines classifier to evaluate the system performance. The results attained in the term of average F-measure scores of 0.912; showed that the proposed approach has moderately improved F-measure by approximately 20%.

研究动机与目标

• 为解决在高度依赖语境且语言结构复杂的非正式阿拉伯语口语和即时消息中准确分类对话行为的挑战。
• 开发一种统计对话分析模型，能够从现实世界中的多语域阿拉伯语对话数据中学习概率性话语模式。
• 通过利用对话行为的分层多类结构，提升现有方法的分类性能。
• 使用来自埃及呼叫中心的经人工标注语料库，评估模型的有效性。
• 证明上下文感知的、通过统计学习获得的话语知识可显著提升低资源、非正式阿拉伯语对话系统中的对话行为识别能力。

提出的方法

• 作者设计了一种分层多类对话行为分类模型，将对话行为组织成结构化分类体系，以提升分类的粒度和上下文敏感性。
• 通过语言和上下文线索从话语中提取特征，包括与阿拉伯语方言相关的词汇、句法和话语层面的模式。
• 采用支持向量机（SVM）分类器，学习从话语特征到分层结构中对话行为标签的映射关系。
• 模型在来自多语域埃及呼叫中心的1,500个对话的人工标注语料库上进行训练，涵盖多样的对话语境。
• 通过统计学习从语料库中自动获取概率性话语知识，使模型能够泛化至非正式话语模式。
• 分层结构通过利用分类体系中的父子关系，提升了对罕见或模糊对话行为的处理能力。

实验结果

研究问题

• RQ1 分层统计模型能否提升非正式阿拉伯语口语和即时消息中的对话行为分类性能？
• RQ2 在非正式阿拉伯语中，整合上下文和话语层面特征在多大程度上能提升对话行为识别能力？
• RQ3 与基线方法相比，所提模型在F-measure及各类对话行为上的鲁棒性如何？
• RQ4 使用来自埃及呼叫中心的经人工标注的多语域语料库，是否能提升对话行为分类的泛化能力？
• RQ5 能否有效学习并应用概率性话语知识，以提升低资源阿拉伯语对话系统中的分类准确率？

主要发现

• 所提模型实现了0.912的平均F-measure，相较于基线方法有显著提升。
• 性能提升相当于相较于先前方法在F-measure上实现了约20%的中等程度改进。
• 分层结构通过促进对罕见或模糊对话行为类别的更好泛化，提升了分类效果。
• 使用来自埃及呼叫中心的真实世界多语域语料库，增强了模型的鲁棒性和实际适用性。
• 基于SVM的分类器能有效从标注数据的统计模式中学习，对非正式阿拉伯语话语表现出强大的泛化能力。
• 结果证实，上下文感知的、通过统计学习获得的话语知识能显著提升非正式阿拉伯语交流中的对话行为识别能力。