[论文解读] Unsupervised Discovery of Morphemes

Mathias Creutz, Krista Lagus|ArXiv.org|May 21, 2002

Algorithms and Data Compression参考文献 10被引用 23

一句话总结

本文提出了两种无监督方法——递归MDL与顺序ML——用于将单词分割为类似词素的单位，且无需事先的语义知识。基于最小描述长度（MDL）与最大似然（ML）原理，这些方法在发现词素结构方面表现出高准确性，尤其适用于芬兰语等屈折丰富的语言，其中递归MDL方法在芬兰语语料库上的表现优于当前最先进的系统。

ABSTRACT

We present two methods for unsupervised segmentation of words into morpheme-like units. The model utilized is especially suited for languages with a rich morphology, such as Finnish. The first method is based on the Minimum Description Length (MDL) principle and works online. In the second method, Maximum Likelihood (ML) optimization is used. The quality of the segmentations is measured using an evaluation method that compares the segmentations produced to an existing morphological analysis. Experiments on both Finnish and English corpora show that the presented methods perform well compared to a current state-of-the-art system.

研究动机与目标

• 开发无监督方法，从原始文本中发现词素，无需语言学标注。
• 解决芬兰语等屈折丰富的语言中词形复杂性带来的挑战，这些语言的词形数量可达数千种。
• 通过将词素作为基本单位而非完整词形，提升统计语言建模与自然语言处理应用的效果。
• 利用人工标注语料库，评估无监督分割方法与现有词素分析器的性能表现。
• 探究通过MDL或ML进行模型优化是否能在不同语言中实现更高的分割准确率与鲁棒性。

提出的方法

• 递归MDL方法基于最小描述长度（MDL）原理，递归地将单词分割为类似词素的单元，以最小化语料库与模型的总描述长度。
• 顺序ML方法采用最大似然优化，结合维特比分割与迭代优化，并引入惩罚项以平衡模型复杂度。
• 两种方法均以无监督方式运行，仅从无标注语料库中的词共现与分布模式中学习词素边界。
• 模型在大规模芬兰语与英语词汇语料库上进行训练，通过将预测边界与标准词素分析结果对比来评估分割质量。
• 通过人工检查1,000个芬兰语词例，对分割结果进行分类：正确、不完整或错误，从而提供经人工验证的准确率估计。
• 递归MDL方法采用递归分割策略，而顺序ML方法则采用前向-后向风格的优化，并在早期轮次中应用拒绝准则。

实验结果

研究问题

• RQ1 无监督学习方法是否能在缺乏先验语言知识的前提下，有效发现芬兰语等词素丰富的语言中的词素边界？
• RQ2 基于MDL与基于ML的优化策略在不同语言中的分割准确率与鲁棒性方面有何差异？
• RQ3 所提出的方法在芬兰语与英语语料库上的词素发现任务中，相较于现有最先进系统，其优越程度如何？
• RQ4 为何某些方法会产生过度分割或无法分割常见词形？这些错误对下游自然语言处理应用有何影响？
• RQ5 模型结构在处理词素复杂性方面发挥何种作用，特别是在具有层级或非线性词缀构词模式的语言中？

主要发现

• 递归MDL方法在2,500个芬兰语词例样本中达到49.6%的正确分割率，优于顺序ML方法（47.3%）与Linguistica工具（43.1%）。
• 递归MDL方法倾向于保持非常常见的词形不变，同时对罕见词形存在过度分割现象，表明其在处理频率分布方面存在权衡。
• 顺序ML方法的错误分割率（37.4%）高于递归MDL方法（20.6%），表明尽管其对常见词形处理更优，但边界检测鲁棒性较弱。
• Linguistica虽在分割上较为保守，但对许多常见词形做出了错误分割，评估中32.8%的分割被归类为错误。
• 递归MDL方法对大量词形实现了完整且正确的分割，包括复杂的芬兰语复合词如 eläintarha 和 eläinmuseo。
• 基于MDL的方法在整体上表现出优于基于ML的优化策略，但实验未能明确区分其优势是源于代价函数还是分割策略。