[论文解读] Automatically Selecting Useful Phrases for Dialogue Act Tagging

Ken Samuel, Sandra Carberry+1 more|ArXiv.org|Jun 18, 1999

Speech and dialogue systems参考文献 20被引用 27

一句话总结

本文提出了一种基于新度量标准的自动方法，用于选择对话行为提示词——即在对话中表明说话人意图的短语——该度量标准通过衡量一个短语与其最优预测短语的偏离程度来实现，并辅以改进的词汇过滤器。该方法在仅使用5%的短语时，显著优于人工选择和传统的互信息、信息增益等度量标准，在对话行为标注准确率方面表现更优。

ABSTRACT

We present an empirical investigation of various ways to automatically identify phrases in a tagged corpus that are useful for dialogue act tagging. We found that a new method (which measures a phrase's deviation from an optimally-predictive phrase), enhanced with a lexical filtering mechanism, produces significantly better cues than manually-selected cue phrases, the exhaustive set of phrases in a training corpus, and phrases chosen by traditional metrics, like mutual information and information gain.

研究动机与目标

• 为解决人工选择提示词短语的局限性，后者常会遗漏领域特定、任务相关的短语。
• 开发基于标注语料库的自动方法，以识别预约对话中有效的对话行为提示词。
• 通过选择简洁、非冗余的高价值短语集合，提升对话行为标注的性能。
• 评估自动短语选择是否能超越人类直觉和标准统计度量的有效性。
• 设计一种词汇过滤器，在不损失标注准确率的前提下，去除冗余短语。

提出的方法

• 所提出的方法使用一种新度量标准——偏离条件概率（DCP），用于衡量一个短语与能最优预测对话行为的短语之间的偏离程度。
• 该方法计算在给定短语条件下对话行为的条件概率，并与最大可能的预测值进行比较，利用该差异作为选择得分。
• 一种改进的词汇过滤器会移除那些是更高得分短语子序列的短语，从而减少冗余。
• 该过滤器应用一条规则：若短语 p 的子序列 p' 在相同对话行为下排名更高，且两者均被选中，则移除 p。
• 该方法在 VerbMobil 语料库上进行评估，该语料库是包含18种对话行为的预约对话手动标注数据集。
• 性能通过使用所选短语的5%、10%、20%和100%进行对话行为标注准确率来衡量。

实验结果

研究问题

• RQ1 基于与最优预测偏离程度的自动方法，是否能在对话行为标注中优于人工选择的提示词？
• RQ2 DCP 度量标准与互信息、信息增益等传统度量标准相比，在选择有效对话行为提示词方面表现如何？
• RQ3 一种能去除冗余短语的词汇过滤器是否能提升对话行为标注的效率与准确率？
• RQ4 一个小型、经过滤的短语集合是否能保持与完整候选短语集合相当的高准确率？
• RQ5 领域特定、任务特定和行为特定的短语在有效对话行为标注中的贡献程度如何？

主要发现

• 经改进的 DCP 度量标准与词汇过滤器结合后，对话行为标注准确率显著高于所有基线方法，包括人工选择的短语以及互信息、信息增益等传统度量标准。
• 当仅使用5%的短语（共712个，占14,231个候选短语的5%）时，DCP 方法的准确率仍高于使用100%短语的完整（ALL）方法。
• 改进的过滤器去除了23%（3,224个短语）至72%（10,237个短语）的候选短语，显著降低了冗余，且未造成准确率损失。
• 通过验证发现，过滤后准确率未下降，且在某些情况下因去除了冗余短语带来的噪声而有所提升。
• 该方法表明，在此领域中，基于与最优预测偏离程度的自动选择方法，优于基于直觉或频率的选择方法。
• 结果表明，自动短语选择可产生比人类专家或标准统计度量更简洁、更有效的提示词集合。