[论文解读] NPtool, a detector of English noun phrases

Atro Voutilainen|arXiv (Cornell University)|Feb 13, 1995

Natural Language Processing Techniques参考文献 9被引用 70

一句话总结

NPtool 是一种基于规则、以形态句法为驱动的英语名词短语（NP）检测器，利用详尽的手工构建词典和约束语法，在名词短语抽取中实现了高精度。它在复杂名词短语上的召回率为 98.5–100%，精确率为 95–98%，错误率低于 1%，且解析中的歧义极少。

ABSTRACT

NPtool is a fast and accurate system for extracting noun phrases from English texts for the purposes of e.g. information retrieval, translation unit discovery, and corpus studies. After a general introduction, the system architecture is presented in outline. Then follows an examination of a recently written Constraint Syntax. An evaluation report concludes the paper.

研究动机与目标

• 开发一种快速且准确的系统，用于从英文文本中提取名词短语，以支持信息检索、翻译单元发现和语料库研究。
• 通过精心设计的语法方案最小化句法歧义，解决在运行文本中实现高可靠性解析的挑战。
• 证明基于规则的形态句法分析在消歧准确率方面优于统计方法，尤其是在词汇和句法差异的区分上。
• 提供一种模块化、可扩展的架构，支持广泛覆盖的解析，同时最大限度减少错误传播。

提出的方法

• 该系统采用手工编写、形态丰富的词典，包含词性、屈折变化、派生及句法标记（例如 @HEAD, @VERB, @>N）。
• 利用约束语法学框架表达核心词-修饰语依赖关系并强制执行句法约束，如前修饰语和后修饰语的词序规则。
• 解析过程应用有限状态自动机分析运行文本，通过上下文敏感规则而非统计模型解决歧义。
• 使用‘NP中性’版本的解析器评估歧义水平，隔离 NP 特定规则的影响。
• 系统采用模块化、还原论的方法进行形态句法分析，聚焦于核心词-修饰语关系和依存结构。
• 对约 20,000 个词进行人工验证，确认了高一致性（最高达 95%）和解析及 NP 检测中的低错误率。

实验结果

研究问题

• RQ1 基于规则的形态句法解析器是否能在名词短语检测和消歧方面实现高于统计模型的准确率？
• RQ2 在不依赖统计模型的前提下，约束语法方法在多大程度上能减少运行文本中的句法歧义？
• RQ3 手工构建的、基于语言学动机的词典在支持广泛覆盖、高精度名词短语抽取方面有多有效？
• RQ4 该系统在涉及前修饰语、后修饰语和并列结构的复杂名词短语上的表现如何？

主要发现

• NPtool 在复杂名词短语上的召回率为 98.5–100%，精确率为 95–98%，包括包含可选并列、前修饰语和后修饰语的短语。
• 解析后，少于 1% 的词存在句法歧义，且在 20,000–30,000 个词的人工校对中错误率低于 1%。
• 仅有 2% 的句子包含超过十个解析结果，最严重的歧义源于 72 种分析，表明其具有出色的消歧性能。
• 与 ENGCG 解析器相比，该系统更有效地减少了歧义，后者因高解析数导致 23.5% 的句子保持歧义。
• NP 中性解析器版本显示，64% 的句子在解析后变为无歧义，仅 2% 的句子包含超过十个解析结果。
• 该系统正确识别了超过 97% 的适当形态句法描述，显著优于仅使用词汇概率模型的结果。