[论文解读] A Linguistically Interpreted Corpus of German Newspaper Text

Wojciech Skut, Thorsten Brants+2 more|arXiv (Cornell University)|Jul 17, 1998

Natural Language Processing Techniques参考文献 5被引用 50

一句话总结

本文提出了一种经过语言学解释的德语报纸文本语料库，通过标注句法-语义结构（谓词-论元结构），实现了无理论偏倚、基于数据的语言学研究。采用基于论元结构的分层标注方案，并结合马尔可夫模型等自动化工具进行短语切分，项目在短语结构识别方面达到了85–90%的准确率，支持统计自然语言处理及基于语料库的研究，如后置定语从句现象与搭配模式分析。

ABSTRACT

In this paper, we report on the development of an annotation scheme and annotation tools for unrestricted German text. Our representation format is based on argument structure, but also permits the extraction of other kinds of representations. We discuss several methodological issues and the analysis of some phenomena. Additional focus is on the tools developed in our project and their applications.

研究动机与目标

• 开发一种适用于无限制德语文本的一致性、无理论偏倚的标注方案，以支持基于数据的语言学研究。
• 构建大规模、经过语言学解释的德语报纸文本语料库，用于统计自然语言处理与基于语料库的语法研究。
• 设计可适应的标注工具，支持高效且一致的手动与半自动标注。
• 从统一的句法-语义结构基础出发，实现理论特定表示（如短语结构、f-结构）的提取。
• 为统计模型在词性标注、短语切分与搭配提取方面的训练提供基础。

提出的方法

• 基于词汇子句范畴、一致关系与语义角色，对德语报纸文本（《法兰克福汇报》）进行句法-语义结构标注。
• 采用多层、无理论偏倚的表示格式，便于推导出现象句法结构与句法-语义结构。
• 利用马尔可夫模型从边界标注中自动推断名词短语与介词短语的内部结构，准确率达85–90%。
• 采用自举法，初始人工标注用于训练统计模型，模型随时间迭代优化。
• 开发搜索程序，用于检索特定句法结构的实例，以支持语言学假设的检验。
• 将标注数据存储于数据库中，并结合能力分析，用于研究灵活搭配现象。

实验结果

研究问题

• RQ1 如何系统性地对无限制德语文本进行语言学解释的句法-语义结构标注，以支持基于数据的自然语言处理？
• RQ2 句法-语义结构在多大程度上可作为推导其他句法表示（如短语结构）的无理论偏倚基础？
• RQ3 基于标注语料库训练的统计模型能否在自动短语结构识别中实现高准确率？
• RQ4 基于语料库的方法在研究后置定语从句与搭配模式等句法现象方面发挥何种作用？
• RQ5 结构标注对搭配提取与语法限制建模的准确率与可靠性有何影响？

主要发现

• 语料库包含约12,000个句子，每句均经过两次标注，以确保一致性和可靠性。
• 句法-语义结构的使用使得能够以高保真度推导出短语结构及其他理论特定表示。
• 用于短语切分的马尔可夫模型在从边界标注中识别名词短语与介词短语结构方面达到85–90%的准确率。
• 该语料库成功支持了后置定语从句现象的统计评估，验证了语言性能理论关于“复杂度”与“距离”效应的预测。
• 经过句法预处理的语料库显著提高了频率统计的准确性，并实现了搭配语法限制的自动推导。
• 该语料库在训练统计自然语言处理系统与支持语料语言学中的理论研究方面均具有重要价值。