[论文解读] Automating Coreference: The Role of Annotated Training Data

Lynette Hirschman, Patricia Robinson+2 more|arXiv (Cornell University)|Mar 2, 1998

Speech and dialogue systems参考文献 3被引用 69

一句话总结

本文提出一种两阶段标注方法——首先识别可标记的名词短语，然后链接指代同一实体的表达——以提升共指消解任务中的标注者间一致性。通过将可标记识别与共指链接解耦，标注者间一致性提升至90多分（F1值91%），为共指自然语言处理系统提供了更清晰、更可靠的训练数据。

ABSTRACT

We report here on a study of interannotator agreement in the coreference task as defined by the Message Understanding Conference (MUC-6 and MUC-7). Based on feedback from annotators, we clarified and simplified the annotation specification. We then performed an analysis of disagreement among several annotators, concluding that only 16% of the disagreements represented genuine disagreement about coreference; the remainder of the cases were mostly typographical errors or omissions, easily reconciled. Initially, we measured interannotator agreement in the low 80s for precision and recall. To try to improve upon this, we ran several experiments. In our final experiment, we separated the tagging of candidate noun phrases from the linking of actual coreferring expressions. This method shows promise - interannotator agreement climbed to the low 90s - but it needs more extensive validation. These results position the research community to broaden the coreference task to multiple languages, and possibly to different kinds of coreference.

研究动机与目标

• 为解决共指标注中低标注者间一致性的难题，该难题阻碍了监督式机器学习的应用。
• 澄清并简化共指标注任务，以减少歧义与错误。
• 探究是否将标注过程划分为独立阶段，可提升一致性与可靠性。
• 验证两阶段标注方法（先识别可标记，再链接共指）在减少人为错误与提升数据质量方面的有效性。
• 为将共指消解扩展至多语言环境及更广泛的共指类型奠定基础。

提出的方法

• 标注者首先标记所有可能参与共指的候选名词短语（即可标记项），重点关注核心词及其前置修饰语。
• 在第二轮标注中，标注者使用REF指针将共指表达链接至已建立的ID，确保一致性。
• 该方法借助工具检测重复项与未链接的代词，提升错误检测能力并减少遗漏。
• 该方法在三份文档上进行了测试，显著提升了标注者间一致性。
• 使用F1值（F = 2PR/(P+R)）作为核心指消解评分算法，评估精确率与召回率。
• 研究分析了三类分歧类型——'简单'、'遗漏'与'困难'——以定位错误来源并指导改进。

实验结果

研究问题

• RQ1 能否通过将共指标注划分为两个独立阶段（可标记识别与链接）来提升标注者间一致性？
• RQ2 标注者间分歧中有多少比例源于真正的语义模糊性，而非遗漏或拼写错误等人为错误？
• RQ3 不同类型的标注错误（如遗漏代词、区域错误）如何影响整体一致性？
• RQ4 更优的标注方法是否能生成更清洁、更可靠的机器学习系统训练数据？
• RQ5 该两阶段方法在多大程度上可推广至其他语言及更广泛的共指类型？

主要发现

• 初始阶段的标注者间一致性为81%的召回率与85%的精确率，表明仍有显著提升空间。
• 在优化标注规范后，28%的分歧被归类为'简单'（如遗漏代词、轻微错误），56%为'遗漏'（遗漏项），仅有16%为'困难'（真正的分歧）。
• 两阶段方法——先标记可标记项，再链接共指对象——在初步测试中使标注者间一致性提升至F1值91%。
• '简单'与'遗漏'类错误可通过更完善的指南与工具支持得到纠正，表明多数分歧并非源于语义模糊性。
• 该方法减少了因疏漏或拼写错误导致的错误，尤其在处理代词与标题提及项方面效果显著。
• 结果表明，将标注过程划分为独立阶段可显著降低训练数据中的噪声，从而支持更鲁棒的机器学习系统。