[论文解读] MBT: A Memory-Based Part of Speech Tagger-Generator

Walter Daelemans, Jakub Zavrel+2 more|ArXiv.org|Jul 11, 1996

Natural Language Processing Techniques参考文献 30被引用 259

一句话总结

本文提出MBT，一种基于记忆的词性标注生成器，通过在词-上下文-词性三元组案例库上使用基于相似度的推理来分配词性标签。通过利用IGTree实现高效索引和动态上下文大小选择，MBT在实现与统计方法相当的高准确率的同时，具备快速学习与标注、小规模训练数据、增量更新以及可解释性等优势。

ABSTRACT

We introduce a memory-based approach to part of speech tagging. Memory-based learning is a form of supervised learning based on similarity-based reasoning. The part of speech tag of a word in a particular context is extrapolated from the most similar cases held in memory. Supervised learning approaches are useful when a tagged corpus is available as an example of the desired output of the tagger. Based on such a corpus, the tagger-generator automatically builds a tagger which is able to tag new text the same way, diminishing development time for the construction of a tagger considerably. Memory-based tagging shares this advantage with other statistical or machine learning approaches. Additional advantages specific to a memory-based approach include (i) the relatively small tagged corpus size sufficient for training, (ii) incremental learning, (iii) explanation capabilities, (iv) flexible integration of information in case representations, (v) its non-parametric nature, (vi) reasonably good results on unknown words without morphological analysis, and (vii) fast learning and tagging. In this paper we show that a large-scale application of the memory-based approach is feasible: we obtain a tagging accuracy that is on a par with that of known statistical approaches, and with attractive space and time complexity properties when using {\em IGTree}, a tree-based formalism for indexing and searching huge case bases.} The use of IGTree has as additional advantage that optimal context size for disambiguation is dynamically computed.

研究动机与目标

• 开发一种可扩展、高准确率且高效的词性标注系统，以相比基于规则或统计方法显著缩短开发时间。
• 通过引入一种压缩索引结构（IGTree），解决传统k近邻在大规模案例库中计算效率低下的问题。
• 在无需大量特征工程或平滑处理的前提下，使标注系统具备增量学习和决策解释能力。
• 在不进行形态分析的情况下，通过利用上下文和表面形式特征，实现对未知词的鲁棒性能。
• 证明基于记忆的学习方法可在大规模自然语言处理应用中成为隐马尔可夫模型（HMMs）和n-gram模型的可行替代方案。

提出的方法

• 系统将训练样本以特征-取值模式（词、上下文、词性）的形式存储在案例库中，每个案例表示为符号特征向量。
• 通过k近邻（k-nn）分类执行标注：对于上下文中的每个词，使用相似度度量从内存中检索最相似的案例。
• 相似度度量使用符号重叠函数（δ(xi,yi) = 0 若 xi=yi，否则为1）计算特征向量之间的距离。
• 采用IGTree（一种基于树的索引形式化方法）对案例库进行压缩并实现高效检索，使查找速度独立于案例库规模。
• 系统在训练过程中通过分析IGTree结构，动态确定用于消歧的最佳上下文大小。
• 应用特征加权机制，灵活整合多种信息源（如词形和上下文）以支持相似度计算。

实验结果

研究问题

• RQ1 基于记忆的方法能否实现与HMM或n-gram标注器等成熟统计模型相当的标注准确率？
• RQ2 IGTree索引能否使基于记忆的标注在大规模语料上具备计算可行性？
• RQ3 该系统能否在不依赖形态分析的情况下，对未知词实现鲁棒性能？
• RQ4 系统能否在不重新训练的前提下支持增量学习和决策解释？
• RQ5 在非参数学习框架中，能否实现对消歧最优上下文大小的自动选择？

主要发现

• MBT实现了与已知统计方法相当的标注准确率，证明了基于记忆的学习在大规模词性标注中的可行性。
• 仅使用300–400 K个已标注词，系统即表现出良好性能，表明小规模训练语料足以实现有效学习。
• 标注速度可达每秒约1000个词，表明尽管案例库规模庞大，IGTree索引仍能实现快速推理。
• 系统通过检索最近邻案例和IGTree路径，提供决策解释能力，实现可追溯的决策过程。
• 在WSJ语料库中，超过90%的未知词可通过上下文和词形特征被正确标注，无需形态分析。
• IGTree形式化方法实现了自动的、非参数化的分类估计，避免了其他方法中常见的平滑与收敛问题。