[论文解读] Morphological Analysis as Classification: an Inductive-Learning Approach

Antal van den Bosch, Walter Daelemans+1 more|ArXiv.org|Jul 16, 1996

Natural Language Processing Techniques参考文献 16被引用 31

一句话总结

本文提出将形态学分析重新构想为一种使用归纳机器学习的分类任务，其中词形切分到词素被视作边界分类问题。研究显示，使用ib1-ig算法的懒惰学习方法在m1任务上实现了1.65%的错误率，性能优于贪婪学习方法，并为传统基于规则的系统提供了一种语言无关、快速且知识需求低的替代方案。

ABSTRACT

Morphological analysis is an important subtask in text-to-speech conversion, hyphenation, and other language engineering tasks. The traditional approach to performing morphological analysis is to combine a morpheme lexicon, sets of (linguistic) rules, and heuristics to find a most probable analysis. In contrast we present an inductive learning approach in which morphological analysis is reformulated as a segmentation task. We report on a number of experiments in which five inductive learning algorithms are applied to three variations of the task of morphological analysis. Results show (i) that the generalisation performance of the algorithms is good, and (ii) that the lazy learning algorithm IB1-IG performs best on all three tasks. We conclude that lazy learning of morphological analysis as a classification task is indeed a viable approach; moreover, it has the strong advantages over the traditional approach of avoiding the knowledge-acquisition bottleneck, being fast and deterministic in learning and processing, and being language-independent.

研究动机与目标

• 通过用数据驱动学习替代手工规则，解决传统形态学分析中的知识获取瓶颈。
• 探究是否可以使用归纳学习算法将形态学切分有效建模为分类任务。
• 评估多种归纳学习算法在不同语言粒度下对形态学切分的泛化性能。
• 比较懒惰学习与贪婪学习方法在自然语言形态学这一复杂、噪声较大的领域中的性能表现。
• 探索仅基于标注语料库训练，构建语言无关、自动且确定性形态学分析系统的技术可行性。

提出的方法

• 将形态学分析重新构想为切分分类任务，其中每个字符位置被分类为标记词素边界或特定类型的边界。
• 使用经过形态学分析的语料库作为训练数据，将每个单词拆分为词素以生成带标签的实例。
• 使用局部上下文特征（包括周围字符和形态学上下文）表示每个焦点位置，作为学习算法的输入。
• 应用五种归纳学习算法：ib1-ig（懒惰学习）、igtree（贪婪决策树）、C4.5（贪婪决策树）、C4.5-ig（基于信息增益加权的C4.5）以及k-NN（k近邻）。
• 采用基于特征加权距离的相似性度量，以在基于记忆的学习中检索最近邻，实现无需规则抽象的分类。
• 在三个切分任务变体（m1、m2、m3）上进行训练与测试，任务复杂度逐步提高，以评估难度的扩展性。

实验结果

研究问题

• RQ1 是否可以使用归纳学习算法将形态学切分有效建模为分类任务？
• RQ2 不同归纳学习算法在不同语言粒度下对形态学切分的泛化性能如何比较？
• RQ3 由于对异常和亚规则性处理更优，懒惰学习是否在形态学分析中优于贪婪学习？
• RQ4 学习算法的性能在多大程度上依赖于特征重要性与信息增益方差？
• RQ5 是否可以仅基于形态学标注语料库构建一个语言无关、自动且确定性的形态学分析系统？

主要发现

• ib1-ig懒惰学习算法在所有三项任务中表现最佳，在m1任务上错误率为1.65%，m2任务为1.97%，m3任务为2.46%。
• 即使在未见的、形态学结构复杂的词上，泛化性能也保持稳定良好，表明具有较强的鲁棒性。
• 信息增益分析显示，焦点位置前一个字母是所有任务中最重要的特征。
• 随着任务复杂度的提升（m1 → m2 → m3），性能下降，表明更细粒度的形态学区分增加了学习难度。
• 懒惰学习方法（如ib1-ig）优于贪婪学习方法（如igtree和C4.5），尤其是在特征信息增益方差较低时。
• 该方法避免了传统系统中的知识获取瓶颈，实现了快速、确定性且语言无关的处理。