[论文解读] Dependency Treebanks: Methods, Annotation Schemes and Tools

Tuomo Kakkonen|ArXiv.org|Oct 20, 2006

Natural Language Processing Techniques参考文献 24被引用 20

一句话总结

本文分析了当前的依存句法树库，评估其方法、标注方案和工具，以指导芬兰依存句法树库的设计，用于句法解析器的评估。本文提出了一种可重用的基于XML的标注工具，具备解析器集成、一致性检查和评论功能，以提高树库创建过程中的准确性和效率。

ABSTRACT

In this paper, current dependencybased treebanks are introduced and analyzed. The methods used for building the resources, the annotation schemes applied, and the tools used (such as POS taggers, parsers and annotation software) are discussed.

研究动机与目标

• 评估现有依存句法树库实践在可重用性、效率和标注质量方面的表现。
• 识别当前树库开发中的关键挑战，包括工具和格式的碎片化以及高昂的成本。
• 指导面向句法解析器评估的芬兰依存句法树库的新标注工具设计。
• 确保新工具支持解析器集成、一致性检查，并通过标准格式实现可扩展性。
• 促进现有工具和格式的重用，以降低开发成本并提高互操作性。

提出的方法

• 对主要依存句法树库（包括布拉格、TIGER、英语、巴斯克语和俄语树库）进行对比分析。
• 考察标注方法，如完全手动、半自动（解析器辅助）以及人机交互协作。
• 评估词性标注器、形态分析器和句法解析器在加速标注和提升标注质量方面的作用。
• 评估现有标注工具的功能，如通过菜单选择标签、评论系统以及不一致性检测。
• 基于XML交换格式（如XCES、TIGER-XML）提出一种新的标注工具架构，以实现互操作性和验证。
• 将解析器输出作为初始建议集成，允许标注者审查并修正，从而减少人工工作量和错误率。

实验结果

研究问题

• RQ1 当前依存句法树库使用哪些类型的文本和语言数据？
• RQ2 不同树库之间的标注方案和格式有何差异，其对可重用性有何影响？
• RQ3 在树库构建中，结合自动解析与人工标注的最有效方法是什么？
• RQ4 哪些工具和功能对于提高标注的准确性和效率至关重要？
• RQ5 如何利用XCES和TIGER-XML等现有标准，以确保长期的工具和数据互操作性？

主要发现

• 使用解析器输出作为初始建议的半自动标注方法显著减少了人工工作量，其中一个树库在使用训练好的解析器后达到了80%的准确率。
• 人机交互标注方法（即人类修正可防止错误传播）比仅事后检查更有效。
• 使用标准化的XML格式（如XCES和TIGER-XML）可实现工具重用，并支持句法验证和一致性检查。
• 能够验证词性标签组合、检测缺失的主谓动词并标记不完整解析的一致性检查器可提升标注质量。
• 基于菜单的标签选择相比自由文本输入可减少人为错误，从而提高一致性和可靠性。
• 尽管已有进展，但许多树库仍使用专有格式，削弱了可重用性并增加了开发成本，如布拉格依存句法树库的开发成本估计高达60万美元。