[论文解读] Morfessor EM+Prune: Improved Subword Segmentation with Expectation Maximization and Pruning

Stig-Arne Grönroos, Sámi Virpioja+1 more|arXiv (Cornell University)|Mar 6, 2020

Natural Language Processing Techniques被引用 14

一句话总结

本论文提出 Morfessor EM+Prune，一种基于期望最大化（EM）与迭代剪枝的改进训练算法，用于 Morfessor Baseline 子词分割模型。该方法在英语、芬兰语和土耳其语上实现了更优的优化效果与更高的形态分割准确率，并在特定超参数设置下与 SentencePiece 子词分割方法表现相当，相关开源实现已发布于 Morfessor 工具包中。

ABSTRACT

Data-driven segmentation of words into subword units has been used in various natural language processing applications such as automatic speech recognition and statistical machine translation for almost 20 years. Recently it has became more widely adopted, as models based on deep neural networks often benefit from subword units even for morphologically simpler languages. In this paper, we discuss and compare training algorithms for a unigram subword model, based on the Expectation Maximization algorithm and lexicon pruning. Using English, Finnish, North Sami, and Turkish data sets, we show that this approach is able to find better solutions to the optimization problem defined by the Morfessor Baseline model than its original recursive training algorithm. The improved optimization also leads to higher morphological segmentation accuracy when compared to a linguistic gold standard. We publish implementations of the new algorithms in the widely-used Morfessor software package.

研究动机与目标

• 改进 Morfessor Baseline 模型的训练算法，以减少搜索误差并提升分割质量。
• 对比多种基于 unigram 的子词分割方法，包括 Morfessor EM+Prune、Greedy Unigram Likelihood、SentencePiece 和 Morfessor Baseline。
• 证明所提出的 EM+Prune 算法相较于原始递归训练方法，能实现更高的形态分割准确率。
• 展示在特定超参数设置下，Morfessor EM+Prune 可复现 SentencePiece 子词分割方法的行为。
• 在广泛使用的 Morfessor 软件包中发布新算法的开源实现，以促进更广泛的应用与可复现性。

提出的方法

• 采用期望最大化（EM）算法，结合改进的初始化方式与迭代剪枝，以优化 Morfessor Baseline 模型的目标函数。
• 引入双先验机制，结合最小描述长度（MDL）与狄利克雷过程（DP）先验，以正则化子词单元的发现。
• 使用后期 EM 变体，在剪枝后仅执行一次 EM 迭代，提升收敛性并减少陷入局部最优的风险。
• 应用计数衰减技术，以稳定 EM 更新过程中的概率估计，尤其适用于稀有子词单元。
• 采用 N-best 解码与采样解码，在训练过程中探索多样化的分割假设。
• 基于成本变化阈值设置停止准则，以防止过拟合并提升训练效率。

实验结果

研究问题

• RQ1 与 Morfessor Baseline 的原始递归训练相比，EM+Prune 算法是否能显著降低搜索误差并提升分割质量？
• RQ2 在形态分割准确率方面，Morfessor EM+Prune 与 Greedy Unigram Likelihood 和 SentencePiece 等其他基于 unigram 的子词模型相比表现如何？
• RQ3 在何种超参数设置下，Morfessor EM+Prune 能复现 SentencePiece 子词分割方法的行为？
• RQ4 在低资源或形态丰富的语言中，与仅使用 MDL 先验相比，额外引入 DP 先验在多大程度上提升了子词单元的发现质量？
• RQ5 所提出的算法能否在不依赖预分词或语言学资源的前提下，有效集成到现有的 NLP 流程中？

主要发现

• Morfessor EM+Prune 在训练过程中降低了搜索误差，并在英语、芬兰语和土耳其语上实现了高于原始 Morfessor Baseline 的形态分割准确率。
• 该方法在分割质量上优于 Greedy Unigram Likelihood 和原始 Morfessor Baseline，尤其在形态丰富的语言中表现更优。
• 在特定超参数设置下，Morfessor EM+Prune 产生的子词分割结果与 SentencePiece 参考实现完全一致，证明了其兼容性与鲁棒性。
• 在成本函数中同时引入 MDL 与 DP 先验，可使子词单元更稳定且更具语言学合理性，尤其在低资源环境下表现更佳。
• Morfessor EM+Prune 的开源实现已发布于 Morfessor 软件包中，支持 NLP 研究与应用中的广泛采用与可复现性。
• 该方法在高资源与低资源语言（包括北萨米语等濒危语言）上均表现出色，证实其在多语言与低资源 NLP 场景中的实用性。