[论文解读] Data-Oriented Language Processing. An Overview

Rens Bod, Remko Scha|UvA-DARE (University of Amsterdam)|Nov 14, 1996

Natural Language Processing Techniques参考文献 45被引用 5

一句话总结

本文提出了数据导向处理（DOP），一种通过语料库中具体语言实例的统计分析而非抽象规则来建模人类语言理解的语言处理方法。该方法通过组合语料库中标注的短语结构树中的片段来构建句法分析，并利用片段频率选择最可能的解释，从而为基于规则的解析提供了一种具有坚实语料语言学实证基础的数据驱动替代方案。

ABSTRACT

During the last few years, a new approach to language processing has started to emerge, which has become known under various labels such as "data-oriented parsing", "corpus-based interpretation", and "tree-bank grammar" (cf. van den Berg et al. 1994; Bod 1992-96; Bod et al. 1996a/b; Bonnema 1996; Charniak 1996a/b; Goodman 1996; Kaplan 1996; Rajman 1995a/b; Scha 1990-92; Sekine & Grishman 1995; Sima'an et al. 1994; Sima'an 1995-96; Tugwell 1995). This approach, which we will call "data-oriented processing" or "DOP", embodies the assumption that human language perception and production works with representations of concrete past language experiences, rather than with abstract linguistic rules. The models that instantiate this approach therefore maintain large corpora of linguistic representations of previously occurring utterances. When processing a new input utterance, analyses of this utterance are constructed by combining fragments from the corpus; the occurrence-frequencies of the fragments are used to estimate which analysis is the most probable one. In this paper we give an in-depth discussion of a data-oriented processing model which employs a corpus of labelled phrase-structure trees. Then we review some other models that instantiate the DOP approach. Many of these models also employ labelled phrase-structure trees, but use different criteria for extracting fragments from the corpus or employ different disambiguation strategies (Bod 1996b; Charniak 1996a/b; Goodman 1996; Rajman 1995a/b; Sekine & Grishman 1995; Sima'an 1995-96); other models use richer formalisms for their corpus annotations (van den Berg et al. 1994; Bod et al., 1996a/b; Bonnema 1996; Kaplan 1996; Tugwell 1995).

研究动机与目标

• 提出一个形式化的数据导向语言处理框架，将语言知识视为源自具体语言经验而非抽象规则。
• 通过将句法分析建立在标注语料库中的统计模式基础上，解决基于规则解析的局限性。
• 在统一的理论模型下整合多种基于语料库的方法，强调片段重用与概率选择。
• 展示标注语料库中的树库可作为稳健、可扩展语言处理系统的基础。

提出的方法

• 该模型以标注的短语结构树语料库作为句法分析的主要数据源。
• 通过组合从语料库中提取的子结构（片段）来构建新的分析，同时保留其结构和分布特性。
• 基于片段在语料库中的实际频率估计其概率，从而实现对最可能分析的 probabilistic 选择。
• 采用句法结构的分层分解，将子树视为可重组的基本单元。
• 融合统计学习与语料语言学原则，避免了手工构建语法规则的需求。
• 通过优先选择更频繁的片段组合实现消歧，与人类语言处理倾向保持一致。

实验结果

研究问题

• RQ1 如何在不依赖手工定义语法规则的情况下进行句法分析？
• RQ2 语料库频率在为给定输入选择最合理句法结构中起什么作用？
• RQ3 能否基于片段重用的共同原则，为多种基于语料库的解析方法建立统一框架？
• RQ4 与传统基于规则的系统相比，基于片段的模型在准确性和鲁棒性方面表现如何？
• RQ5 支持可靠的数据导向解析的标注树语料库必须具备哪些形式属性？

主要发现

• DOP 框架通过建模语言理解为片段重组过程，为基于规则的解析提供了一个有原则的、基于语料库的替代方案。
• 语料库中片段的频率可作为句法分析概率的可靠估计量，从而实现有效的消歧。
• 该方法在统一的理论框架下整合了多种基于语料库的解析技术，包括语料库语法和数据导向解析。
• 多个模型的实证结果表明，基于 DOP 的系统仅使用标注语料库即可在句法解析任务中达到具有竞争力的性能。
• 该模型表明，无需显式编码规则，人类语言处理的特征可从真实语言数据的统计模式中自然涌现。
• 该框架支持增量式及类似增量式的处理，适用于实时和交互式语言系统。