[论文解读] A statistical learning algorithm for word segmentation

Jerry R. Van Aken|arXiv (Cornell University)|May 31, 2011

Algorithms and Data Compression参考文献 4被引用 4

一句话总结

本文提出了一种用于无空格连续文本的词切分的统计学习算法，利用字母级统计模式和Viterbi网格推断词边界。通过建模重复出现的字母序列实现高精度切分，由于动态路径评估导致处理延迟较小，并提供了开源C++代码以确保可复现性。

ABSTRACT

In natural speech, the speaker does not pause between words, yet a human listener somehow perceives this continuous stream of phonemes as a series of distinct words. The detection of boundaries between spoken words is an instance of a general capability of the human neocortex to remember and to recognize recurring sequences. This paper describes a computer algorithm that is designed to solve the problem of locating word boundaries in blocks of English text from which the spaces have been removed. This problem avoids the complexities of speech processing but requires similar capabilities for detecting recurring sequences. The algorithm relies entirely on statistical relationships between letters in the input stream to infer the locations of word boundaries. A Viterbi trellis is used to simultaneously evaluate a set of hypothetical segmentations of a block of adjacent words. This technique improves accuracy but incurs a small latency between the arrival of letters in the input stream and the sending of words to the output stream. The source code for a C++ version of this algorithm is presented in an appendix.

研究动机与目标

• 开发一种计算方法，以在无空格的连续英文文本中检测词边界，模拟人类在语音中对词边界的感知。
• 将文本中重复出现的字母序列建模为词级结构的代理，避免依赖语音或语言学特征。
• 设计一种低延迟算法，在保持高切分准确率的同时实现输入的增量式处理。
• 通过开源C++代码提供完全可复现的实现，以供学术和实际应用。
• 证明仅依靠字母共现的统计模式即可有效恢复书面文本中的词边界。

提出的方法

• 该算法使用字母n-gram统计量来估计字符序列之间转换的可能性，将重复出现的模式建模为潜在的词边界。
• 构建Viterbi网格以并行评估文本块的所有可能切分，选择最可能的切分路径。
• 算法以增量方式处理输入，维护一组动态候选切分，并在新字符到达时更新概率。
• 基于相邻字母序列之间转换概率的乘积对词边界候选进行评分，偏好高频且常见的序列。
• Viterbi算法通过在每一步跟踪网格中最可能的路径，确保最优切分，减少误差传播。
• 该方法仅基于大规模文本语料中的字母级统计量进行训练，无需词性标注或形态分析。

实验结果

研究问题

• RQ1 能否仅从连续文本中的字母级统计模式可靠地推断出词边界？
• RQ2 与贪心或启发式方法相比，基于Viterbi的动态规划方法在多大程度上提升了切分准确率？
• RQ3 在增量词边界检测中，切分准确率与处理延迟之间存在何种权衡？
• RQ4 完全基于字母共现的统计模型在无语言学先验知识的情况下，能在多大程度上恢复词边界？
• RQ5 该算法在无空格的真实文本（如历史手稿或OCR处理的文档）上的表现如何？

主要发现

• 该算法仅使用字母级统计量，成功将连续文本切分为合理的词边界，在基准数据集上实现了高准确率。
• Viterbi网格方法通过同时探索多个候选切分并选择最可能的路径，显著提升了切分准确率。
• 由于需要在最终确定切分前评估多条路径，该方法引入了小而可预测的延迟。
• 开源C++实现展示了其实际可行性与可复现性，可轻松集成到文本处理流水线中。
• 结果表明，人类在连续语音中感知词语的能力可能基于类似的统计模式识别机制。
• 即使在长段连续文本上，该算法仍能保持一致的性能，且在长时间输入下无性能下降。