[论文解读] Classifying Cue Phrases in Text and Speech Using Machine Learning

Diane Litman|ArXiv.org|May 9, 1994

Natural Language Processing Techniques参考文献 18被引用 17

一句话总结

本文应用机器学习（cgrendel 和 C4.5）自动将文本和话语中的提示短语分类为语篇类或句子类，利用语调特征和文本特征。结果表明，学习得到的模型优于手工构建的规则，错误率更低——尤其在引入词元级区分和组合特征时表现更优，同时实现了可扩展的、迭代式的规则优化。

ABSTRACT

Cue phrases may be used in a discourse sense to explicitly signal discourse structure, but also in a sentential sense to convey semantic rather than structural information. This paper explores the use of machine learning for classifying cue phrases as discourse or sentential. Two machine learning programs (Cgrendel and C4.5) are used to induce classification rules from sets of pre-classified cue phrases and their features. Machine learning is shown to be an effective technique for not only automating the generation of classification rules, but also for improving upon previous results.

研究动机与目标

• 自动化生成话语和句子语境下提示短语的分类规则。
• 评估机器学习是否能够改进基于人工推导的提示短语分类规则。
• 探索语调特征和文本特征在区分提示短语的语篇用法与句子用法中的实用性。
• 实现可扩展的、迭代式的模型更新，随着新数据的出现持续优化，克服静态人工构建规则的局限性。

提出的方法

• 在一份包含 1,043 个提示短语词元的 75 分钟技术演讲语料库上，训练了两个机器学习系统——cgrendel 和 C4.5。
• 使用了丰富的特征集合：语调特征（语调重音、短语位置、边界语调）和文本特征（词性、标点符号、相邻提示短语）。
• 在部分实验中，将每个提示短语视为独立的词元，以提升分类准确性。
• 将学习得到的模型与 Hirshberg & Litman (2000) 手工推导的规则进行对比，以错误率和规则内容作为评估指标。
• 采用 50% 训练集和 50% 测试集的划分方式，并通过交叉验证确保结果的稳健性。
• 探索了特征组合，包括孤立的语调特征和组合的语调-文本特征集合，以评估其相对效用。

实验结果

研究问题

• RQ1 机器学习能否有效实现提示短语分类规则的自动化生成？
• RQ2 学习得到的模型在提示短语分类中的准确率是否高于手工构建的规则？
• RQ3 哪些特征——语调特征、文本特征或组合特征——对提示短语分类的准确性贡献最大？
• RQ4 包含词元身份（即具体提示短语）对分类性能有何影响？
• RQ5 机器学习模型能否通过新数据的持续输入实现增量式更新，从而超越静态人工构建的规则？

主要发现

• 最佳的 C4.5 和 cgrendel 模型错误率低于 Hirshberg & Litman (2000) 报告的 21%，即使未使用词元特征。
• 引入词元特征显著提升了性能，尤其在非连词子语料中，错误率降至 21% 以下。
• 当仅使用语调特征时，仅有“语调短语中的位置”具有实用性；但与词元特征结合后，语调重音等其他特征也变得具有信息量。
• 学习得到的规则集在语言学精确性和泛化能力方面优于手工推导的规则，尤其是在训练数据集更大的情况下。
• 机器学习支持高效地利用新数据重新训练模型，实现动态规则优化——这是静态人工构建模型的局限所在。
• 本研究证实，机器学习不仅有效实现了规则生成的自动化，还能将分类准确率提升至超越人工基线水平。