[论文解读] A Machine Learning Approach to the Classification of Dialogue Utterances

Toine Andernach|ArXiv.org|Jul 16, 1996

Speech and dialogue systems被引用 21

一句话总结

本文提出一种基于机器学习的方法，利用从语料库中提取的表面语言线索（提示模式）自动分类对话话语。该方法采用无监督学习（AutoClass）发现对话行为类别，并通过有监督学习（规则归纳）生成可解释的分类规则，在剧场订票对话语料库上实现了高达100%的准确率，证明了无需依赖人工标注分类体系偏见的客观、数据驱动式对话行为分类的可行性。

ABSTRACT

The purpose of this paper is to present a method for automatic classification of dialogue utterances and the results of applying that method to a corpus. Superficial features of a set of training utterances (which we will call cues) are taken as the basis for finding relevant utterance classes and for extracting rules for assigning these classes to new utterances. Each cue is assumed to partially contribute to the communicative function of an utterance. Instead of relying on subjective judgments for the tasks of finding classes and rules, we opt for using machine learning techniques to guarantee objectivity.

研究动机与目标

• 开发一种客观的自动化方法，用于分类对话话语，而无需依赖主观的人工判断或预先存在的分类体系。
• 识别与特定领域语料库中对话行为相关的表面语言特征（提示）。
• 使用无监督学习从训练数据中发现有意义的对话行为类别。
• 使用有监督学习从发现的类别中生成可解释的分类规则。
• 在未见的测试数据上评估所得规则集的性能。

提出的方法

• 从话语类型、疑问词存在性、主语类型、提示词和动词类型等表面语言特征构建提示模式。
• 使用AutoClass算法进行无监督分类，基于特征相似性将提示模式聚类为对话行为类别。
• 对发现的类别应用有监督规则归纳，生成将提示模式映射到行为类别的规则集。
• 使用精确率指标评估规则集，各类别准确率计算为正确预测实例数与该类别总实例数的比值。
• 通过训练、测试和专家反馈的迭代循环，持续优化提示选择和分类性能。
• 未来扩展包括探索使用类序列的n-gram分析构建上下文感知模型，以及采用C4.5和Kohonen映射等替代算法。

实验结果

研究问题

• RQ1 能否在无需人工定义分类体系的前提下，仅通过无监督机器学习从语料库中自动发现对话行为类别？
• RQ2 一组表面语言提示（提示模式）在多大程度上能有效预测对话行为类别？
• RQ3 有监督学习能否从无监督学习发现的类别中生成准确且可解释的规则？
• RQ4 包含局部上下文（如前一话语的行为类别）在多大程度上能提升分类性能？
• RQ5 该基于规则的系统在语料库中不同对话行为类别上的性能表现如何？

主要发现

• 使用AutoClass的无监督分类成功生成了与对话中直观功能区分相符的可解释对话行为类别。
• 有监督规则归纳过程生成的规则集实现了高精确率，各类别在测试集上的准确率范围为90.7%至100%。
• 类别0（简单名词短语）准确率最高，达99.3%；类别2（是/否问题）和类别6（直接命令）的精确率达到100%。
• 该方法在多种对话行为上表现出稳健性，尽管类别4（wh-问题）复杂度较高，仍实现了90.7%的准确率。
• 无监督聚类与有监督规则生成的结合，使对话行为分类在客观性与可解释性方面均得到保障。
• 训练-测试的迭代循环在优化提示选择和提升分类性能方面被证明是有效的。