[论文解读] Designing Statistical Language Learners: Experiments on Noun Compounds

Mark Lauer|ArXiv.org|Sep 25, 1996

Natural Language Processing Techniques参考文献 160被引用 55

一句话总结

本文提出了一种基于语义分布的新型统计语言学习框架，其中概率被分配给语义形式而非句法结构。该框架提出了一种基于依存关系的名词复合词分析模型，其性能优于先前方法并达到人类水平的准确度，同时建立了统计自然语言处理系统数据需求量的预测理论。

ABSTRACT

The goal of this thesis is to advance the exploration of the statistical language learning design space. In pursuit of that goal, the thesis makes two main theoretical contributions: (i) it identifies a new class of designs by specifying an architecture for natural language analysis in which probabilities are given to semantic forms rather than to more superficial linguistic elements; and (ii) it explores the development of a mathematical theory to predict the expected accuracy of statistical language learning systems in terms of the volume of data used to train them. The theoretical work is illustrated by applying statistical language learning designs to the analysis of noun compounds. Both syntactic and semantic analysis of noun compounds are attempted using the proposed architecture. Empirical comparisons demonstrate that the proposed syntactic model is significantly better than those previously suggested, approaching the performance of human judges on the same task, and that the proposed semantic model, the first statistical approach to this problem, exhibits significantly better accuracy than the baseline strategy. These results suggest that the new class of designs identified is a promising one. The experiments also serve to highlight the need for a widely applicable theory of data requirements.

研究动机与目标

• 通过识别新型有效语言模型架构，探索统计语言学习者的架构设计空间。
• 解决确定统计自然语言处理系统所需足够训练数据量的关键挑战。
• 开发数据需求的预测理论，以指导未来系统设计并减少对试错法的依赖。
• 将所提出的框架应用于名词复合词的句法与语义分析。
• 证明基于语义分布的模型即使在数据稀疏且嘈杂的情况下也能实现高性能。

提出的方法

• 提出语义分布理论，将概率分配给语义形式，进而将似然性传播至相应的语法形式。
• 开发一种基于依存关系的概率模型，用于利用名词之间的概念关系对名词复合词进行句法分析。
• 构建一种统计语义模型，利用介词短语统计信息预测名词复合词的同义表达。
• 采用人工标注数据进行实证评估，将模型性能与基线系统及先前系统进行比较。
• 应用统计估计技术（例如，Good-Turing、删除估计）处理语义与句法建模中的稀疏数据问题。
• 推导出数学关系式，以预测系统准确率随训练数据量的变化关系，从而形成数据需求预测理论的基础。

实验结果

研究问题

• RQ1 如何将语义形式用作语言建模中的主要概率单元，以提升泛化能力？
• RQ2 统计语言学习者在名词复合词分析任务上达到可接受性能所需的最少训练数据量是多少？
• RQ3 基于依存关系的模型是否能优于现有句法模型在名词复合词解析中的表现？
• RQ4 统计模型能否从有限且嘈杂的数据中有效学习名词复合词的语义同义表达？
• RQ5 数据需求的预测理论在多大程度上可指导未来统计语言学习者的设计？

主要发现

• 基于依存关系的句法模型显著优于先前提出的模型，并在名词复合词解析中接近人类水平的准确度。
• 该模型正确预测了名词复合词中句法结构的观测分布，验证了其语言学合理性。
• 首个用于名词复合词同义表达的统计语义模型，其准确率显著优于基于介词短语统计的基线策略。
• 实证结果证实，训练数据既稀疏又嘈杂，凸显了建立数据需求预测理论的必要性。
• 所提出的数据显示需求理论提供了一个数学框架，可基于训练数据量估算准确率，为未来系统设计提供导航工具。
• 语义分布理论催生了一类新型语言模型，其继承自语义表征的概率优势，增强了鲁棒性与泛化能力。