[论文解读] Learning to Resolve Natural Language Ambiguities: A Unified Approach

Dan Roth|ArXiv.org|Nov 3, 1998

Natural Language Processing Techniques参考文献 35被引用 175

一句话总结

本文提出 SNOW（稀疏 Winnow 分类器网络），一种统一的、数据驱动的框架，通过在高维特征空间中学习线性分类器来解决自然语言歧义问题。该方法在词义消歧任务（包括介词短语依附、上下文敏感拼写纠错和词性标注）上表现优于或匹配当前最先进方法，证明了属性高效、在线学习在复杂自然语言歧义消解中的有效性。

ABSTRACT

We analyze a few of the commonly used statistics based and machine learning algorithms for natural language disambiguation tasks and observe that they can be re-cast as learning linear separators in the feature space. Each of the methods makes a priori assumptions, which it employs, given the data, when searching for its hypothesis. Nevertheless, as we show, it searches a space that is as rich as the space of all linear separators. We use this to build an argument for a data driven approach which merely searches for a good linear separator in the feature space, without further assumptions on the domain or a specific problem. We present such an approach - a sparse network of linear separators, utilizing the Winnow learning algorithm - and show how to use it in a variety of ambiguity resolution problems. The learning approach presented is attribute-efficient and, therefore, appropriate for domains having very large number of attributes. In particular, we present an extensive experimental comparison of our approach with other methods on several well studied lexical disambiguation tasks such as context-sensitive spelling correction, prepositional phrase attachment and part of speech tagging. In all cases we show that our approach either outperforms other methods tried for these tasks or performs comparably to the best.

研究动机与目标

• 将多种自然语言歧义消解任务（如词义消歧、词性标注和介词短语依附）统一到一个学习框架之下。
• 分析现有的统计与机器学习消歧方法，表明它们均可归约为在特征空间中学习线性分类器。
• 主张与其施加领域特定假设，不如通过数据驱动方式在特征空间中直接搜索最优线性分类器，该方法已足够充分且有效。
• 开发并评估一种可扩展、属性高效的架构——SNOW，支持在多个 NLP 任务中进行在线、多类歧义消解。
• 在基准任务上对框架进行实证验证，结果表明其性能与现有成熟方法相比具有竞争力或更优。

提出的方法

• 将现有消歧算法（如朴素贝叶斯、决策列表、基于转换的学习）重新表述为在高维特征空间中学习线性分类器。
• 提出 SNOW，一种稀疏线性分类器网络，其中每个节点对应一个候选标签（如词性标签或词义），并通过 Winnow 算法独立学习。
• 采用在线、属性高效的学习方式，结合 Winnow 算法，以处理自然语言中常见的高维特征空间（如词共现与句法模式）。
• 在测试阶段，所有子网络同时处理输入，激活值最高的节点分配标签，从而实现实时高效的推理。
• 在多个任务（PPA、拼写纠错、词性标注）中使用相同的架构与特征集，以证明其通用性与可重用性。
• 基于上下文与搭配关系进行特征工程，词性标注实验中不循环使用预测结果，以保持线性表达能力。

实验结果

研究问题

• RQ1 广泛使用的统计与机器学习消歧方法能否在统一的线性分类器学习理论框架下被整合？
• RQ2 尽管这些方法具有不同的归纳偏置，其搜索空间是否与完整线性分类器空间具有相同的表达能力？
• RQ3 一种直接在特征空间中搜索最优线性分类器的数据驱动方法，能否优于或匹配依赖强领域特定假设的方法？
• RQ4 稀疏 Winnow 分类器网络（SNOW）在高维特征空间中对多种歧义消解任务是否有效且高效？
• RQ5 单一统一架构能否以可扩展且高精度的方式，同时支持多个相互关联的歧义消解任务？

主要发现

• 在介词短语依附（PPA）任务中，SNOW 达到 83.9% 的准确率，优于最佳基线（84.1%），并匹配最佳现有方法（BO）的性能。
• 在上下文敏感拼写纠错任务中，SNOW 的性能与其它方法相当或更优，结果与最先进系统相当。
• 在词性标注任务中，SNOW 在 Penn Treebank WSJ 语料库上达到 96.8% 的准确率，与基于转换的学习（TBL）系统（96.9%）持平，显著优于基线（94.4%）。
• 分析表明，多种学习算法（包括朴素贝叶斯、决策列表和基于转换的学习）均可被重新表述为学习线性分类器，其 VC 维复杂度与完整线性分类器空间一致。
• Winnow 算法的属性高效特性使 SNOW 能够在不损失性能的前提下，有效扩展至高维自然语言特征空间。
• 在三个不同歧义消解任务上的实验结果表明，SNOW 提供了一个统一、可扩展且高性能的自然语言歧义消解框架。