[论文解读] A Framework for (Under)specifying Dependency Syntax without Overloading Annotators

Nathan Schneider, Brendan O’Connor+6 more|arXiv (Cornell University)|Jun 10, 2013

Data Quality and Management参考文献 25被引用 12

一句话总结

本文提出FUDG（片段未标注依存语法），一种轻量级依存句法标注框架，允许标注者对句法结构进行部分指定，以减轻认知负担和标注成本。该框架采用简单的ASCII符号表示法（GFL），支持部分标注，并开发了评估算法以衡量在未完全指定数据上的标注者间一致性。该方法实现了跨语言和任务的快速、低成本标注，在英语、马达加斯加语和卢旺达语中均取得成功。

ABSTRACT

We introduce a framework for lightweight dependency syntax annotation. Our formalism builds upon the typical representation for unlabeled dependencies, permitting a simple notation and annotation workflow. Moreover, the formalism encourages annotators to underspecify parts of the syntax if doing so would streamline the annotation process. We demonstrate the efficacy of this annotation on three languages and develop algorithms to evaluate and compare underspecified annotations.

研究动机与目标

• 通过允许标注者对模糊或不相关的句法结构进行部分指定，降低句法标注的成本和复杂性。
• 开发一种简单、人类可读的符号表示法（GFL），支持在任意文本编辑器中进行基于文本的标注，无需专用工具。
• 设计算法以评估部分指定依存结构上的标注者间一致性。
• 在多种语言和文本类型（包括社交媒体和对话）中，证明该框架的可行性和有效性。
• 通过支持专业化和减少培训负担，实现可扩展的、项目特定的句法标注。

提出的方法

• 提出FUDG，一种形式化体系，扩展未标注依存关系，支持多词单位、带标签的并列结构以及回指-先行语关系。
• 引入图片段语言（GFL），一种轻量级ASCII符号表示法，可在任何文本编辑器中编写标注。
• 设计验证、归一化和可视化工具，以支持GFL标注工作流。
• 通过fudge表达式（如~）实现未指定，用于表示依赖关系的不确定性或有意省略。
• 开发新的评估指标——泛化性（promiscuity）、承诺度（commitment）、softComPrec——以衡量部分标注上的一致性。
• 将该框架应用于三种语言（英语、马达加斯加语、卢旺达语）和三个领域（社交媒体、新闻、对话），使用独立且专业化的标注者。

实验结果

研究问题

• RQ1 依赖关系标注框架是否能在不增加标注者负担的情况下支持未指定标注？
• RQ2 如何在部分指定的句法标注上实现有意义的标注者间一致性度量？
• RQ3 专业化标注者在多大程度上能产生互补的、高质量的部分标注？
• RQ4 该框架在低资源语言和非正式语言体裁中的表现如何？
• RQ5 GFL符号表示法和工具是否能实现高效、可扩展的标注，且培训需求最小化？

主要发现

• 该框架实现了快速标注且培训需求极低，社交媒体推文和评论的标注者间一致性极高（F1最高达.95）。
• 两名标注者分别对名词短语和从句结构进行专业化标注，结果互补，合并片段的一致性达95%（F1 = .95）。
• 专业化标注的组合（C ∩ D）表现出更高的泛化性（支持更多可能的解析），但仍保持较强的softComPrec得分（如推文中的.82），表明高度一致性。
• 与转换后的Penn Treebank解析相比，一致性达到中等到高水平，softComPrec得分为.91–.93（最佳比较结果），尽管Treebank对单一解析有完全承诺。
• 该框架成功支持了三种低资源语言（英语、马达加斯加语、卢旺达语）的标注，证明了跨语言可行性。
• 在Mechanical Turk上的试点众包实验表明，80名具有句子图示经验的工人能够生成FUDG标注，表明该方法适用于非专家标注。