[论文解读] A Corpus-Based Investigation of Definite Description Use

Massimo Poesio, Renata Vieira|arXiv (Cornell University)|Oct 24, 1997

Natural Language Processing Techniques参考文献 37被引用 322

一句话总结

这项基于语料库的研究探讨了使用语言学分类体系对书面文本中的限定描述进行标注的可行性。研究发现，使用Hawkins和Prince的传统框架时，标注者间的一致性较低（Kappa = 0.63），但采用Fraurud的简化两分类体系（首次提及 vs. 后续提及）时，一致性更高（Kappa = 0.76），表明在计算语言学应用的大规模标注中，更简单的分类体系更为可靠。

ABSTRACT

We present the results of a study of definite descriptions use in written texts aimed at assessing the feasibility of annotating corpora with information about definite description interpretation. We ran two experiments, in which subjects were asked to classify the uses of definite descriptions in a corpus of 33 newspaper articles, containing a total of 1412 definite descriptions. We measured the agreement among annotators about the classes assigned to definite descriptions, as well as the agreement about the antecedent assigned to those definites that the annotators classified as being related to an antecedent in the text. The most interesting result of this study from a corpus annotation perspective was the rather low agreement (K=0.63) that we obtained using versions of Hawkins' and Prince's classification schemes; better results (K=0.76) were obtained using the simplified scheme proposed by Fraurud that includes only two classes, first-mention and subsequent-mention. The agreement about antecedents was also not complete. These findings raise questions concerning the strategy of evaluating systems for definite description interpretation by comparing their results with a standardized annotation. From a linguistic point of view, the most interesting observations were the great number of discourse-new definites in our corpus (in one of our experiments, about 50% of the definites in the collection were classified as discourse-new, 30% as anaphoric, and 18% as associative/bridging) and the presence of definites which did not seem to require a complete disambiguation.

研究动机与目标

• 评估使用标准化语言学分类体系对限定描述进行大规模语料库标注的可行性。
• 评估非语言学背景的标注者是否能可靠地应用现有限定描述解释理论。
• 比较不同分类体系（包括Hawkins、Prince和Fraurud的体系）的标注者间一致性。
• 研究书面语篇中限定描述的分布与解释模式，特别是语篇新用法。
• 为处理限定描述的计算系统提供评估基准设计依据。

提出的方法

• 对33篇报纸文章中的1,412个限定描述，通过非专业人士进行两次实验分类。
• 采用基于Hawkins（1978）和Prince（1981, 1992）分类体系的分类方案，以及Fraurud（1990）提出的简化版本，仅分为两类：首次提及与后续提及。
• 使用Cohen’s Kappa统计量衡量标注者间一致性，以评估分类与回指成分分配的可靠性。
• 聚焦于书面文本，以确保一致性，并支持计算系统的语料库评估。
• 收集了回指性与关联性/桥接性限定描述的回指成分分配数据，以评估指代消解的准确性。
• 分析了语料库中语篇新、回指性及关联性/桥接性限定描述的频率。

实验结果

研究问题

• RQ1 非语言学背景的标注者能否可靠地使用Hawkins和Prince提出的复杂语言学分类体系对限定描述进行分类？
• RQ2 在书面文本中应用不同分类体系时，限定描述的标注者间一致性能达到何种水平？
• RQ3 语篇新限定描述在书面报纸文本中有多普遍？与回指性或关联性/桥接性用法相比如何？
• RQ4 简化分类体系（如Fraurud的两分类模型）是否显著优于更详细的分类体系？
• RQ5 语料库中的限定描述在多大程度上需要完全消歧？它们如何挑战标准解释模型？

主要发现

• 传统分类体系（Hawkins与Prince的体系）的标注者间一致性相对较低，Kappa值为0.63，表明可靠性仅中等。
• Fraurud提出的简化分类体系（仅区分首次提及与后续提及）实现了显著更高的一致性（Kappa = 0.76）。
• 语料库中约50%的限定描述被归类为语篇新，表明书面文本中非回指用法频率很高。
• 回指性限定描述约占总量的30%，而关联性/桥接性限定描述约占18%。
• 回指成分分配的一致性并不完全，表明即使对回指性限定描述，识别指代对象也存在挑战。
• 本研究揭示，许多限定描述并不要求完全消歧，这挑战了某些计算指代消解模型中的假设。