[论文解读] An Efficient, Probabilistically Sound Algorithm for Segmentation and Word Discovery

Michael R. Brent|ArXiv.org|May 12, 1999

Algorithms and Data Compression参考文献 23被引用 208

一句话总结

该论文提出MBDP-1，一种基于贝叶斯模型的、在连续类语音文本中实现词切分与词发现的、概率上可靠且无监督的算法，该模型将整个语料库视为单一的概率事件。通过结合音素频率、词频和词序统计，该算法在儿童语境语音语料库上优于以往方法，无需先验词汇知识或多次遍历即可识别高概率的切分结果。

ABSTRACT

This paper presents a model-based, unsupervised algorithm for recovering word boundaries in a natural-language text from which they have been deleted. The algorithm is derived from a probability model of the source that generated the text. The fundamental structure of the model is specified abstractly so that the detailed component models of phonology, word-order, and word frequency can be replaced in a modular fashion. The model yields a language-independent, prior probability distribution on all possible sequences of all possible words over a given alphabet, based on the assumption that the input was generated by concatenating words from a fixed but unknown lexicon. The model is unusual in that it treats the generation of a complete corpus, regardless of length, as a single event in the probability space. Accordingly, the algorithm does not estimate a probability distribution on words; instead, it attempts to calculate the prior probabilities of various word sequences that could underlie the observed text. Experiments on phonemic transcripts of spontaneous speech by parents to young children suggest that this algorithm is more effective than other proposed algorithms, at least when utterance boundaries are given and the text includes a substantial number of short utterances. Keywords: Bayesian grammar induction, probability models, minimum description length (MDL), unsupervised learning, cognitive modeling, language acquisition, segmentation

研究动机与目标

• 开发一种无监督、增量式的连续文本词边界检测算法，模拟儿童从无切分输入中学习语言的过程。
• 构建一种不依赖预存词典或预切分训练数据的语言无关模型。
• 通过基于音素频率、词频和词序约束的词序列联合概率建模，提高切分准确性。
• 在自然主义的儿童语境语音语料库上评估该算法，这些语料与标准语言工程数据集存在显著差异。
• 提供一种认知上合理的早期语言习得模型，解释儿童如何从连续输入中发现词汇。

提出的方法

• 该算法使用贝叶斯模型，将整个语料库的生成视为单一的概率事件，为所有可能产生观测输入的词序列分配先验概率。
• 采用模块化概率模型，将音系、词序和词频作为可互换的组件，支持语言特异性优化。
• 通过最大化切分的先验概率来确定词边界，而非对词的后验分布进行估计。
• 使用动态规划高效计算最可能的切分结果，避免多次遍历或全局优化。
• 将词典中的音素频率作为评估新词候选合理性的关键因素，降低将低频音素序列误认为词的可能性。
• 基于词频和长度的先验分布对词类进行建模，参考了如齐夫定律和曼德尔布罗特模型等既定分布。

实验结果

研究问题

• RQ1 基于语料级先验的统一概率模型是否能在儿童语境语音上超越现有无监督切分算法？
• RQ2 在连续输入中，引入词汇音素频率在多大程度上能提高词边界检测的准确性？
• RQ3 将整个语料库视为单一事件的模型是否优于逐次估计词概率的模型？
• RQ4 该算法在具有短句和可变词边界（典型儿童语境语音特征）的语料库上表现如何？
• RQ5 该模型能否解释认知现象，如倾向于切分熟悉词汇并避免重叠切分？

主要发现

• 在自然口语亲子对话的音素转写语料上，MBDP-1优于其他无监督切分算法，尤其在提供话语边界且话语较短时表现更优。
• 该算法通过利用包含音素频率、词频和词序统计的词序列先验概率，实现了更高的切分准确性。
• 在词典中引入音素频率显著提升了模型拒绝不切实际的新词候选的能力，例如初始音素罕见的词。
• 该模型预测，由低频音素序列构成的新词可能性较低，这与人工语言学习实验中的行为数据一致。
• 即使在较长的无切分字符串中，该算法仍能成功识别出熟悉词汇，尤其当这些词汇不与其他已知词重叠时。
• 该模型的表现与INCDROP框架一致，支持儿童在切分决策中倾向于最小化新词长度并最大化词频的假设。