[論文レビュー] An Efficient, Probabilistically Sound Algorithm for Segmentation and Word Discovery

Michael R. Brent|ArXiv.org|May 12, 1999

Algorithms and Data Compression参考文献 23被引用数 208

ひとこと要約

この論文では、音声の頻度、語の頻度、語の順序統計を組み合わせることで、事前の語彙知識や複数回のパスを必要とせずに、高い確率的妥当性を持つ未教師あり語区切り抽出アルゴリズムであるMBDP-1を提示している。このアルゴリズムは、ベイジアンモデルを用いて全コーパスを一つの確率的出来事として扱い、子供向けの会話文書コーパスにおいて、先行研究の手法を上回る性能を発揮する。

ABSTRACT

This paper presents a model-based, unsupervised algorithm for recovering word boundaries in a natural-language text from which they have been deleted. The algorithm is derived from a probability model of the source that generated the text. The fundamental structure of the model is specified abstractly so that the detailed component models of phonology, word-order, and word frequency can be replaced in a modular fashion. The model yields a language-independent, prior probability distribution on all possible sequences of all possible words over a given alphabet, based on the assumption that the input was generated by concatenating words from a fixed but unknown lexicon. The model is unusual in that it treats the generation of a complete corpus, regardless of length, as a single event in the probability space. Accordingly, the algorithm does not estimate a probability distribution on words; instead, it attempts to calculate the prior probabilities of various word sequences that could underlie the observed text. Experiments on phonemic transcripts of spontaneous speech by parents to young children suggest that this algorithm is more effective than other proposed algorithms, at least when utterance boundaries are given and the text includes a substantial number of short utterances. Keywords: Bayesian grammar induction, probability models, minimum description length (MDL), unsupervised learning, cognitive modeling, language acquisition, segmentation

研究の動機と目的

• 未教師ありで段階的に語区切りを検出するアルゴリズムを開発し、子供が区切りのない入力から言語を学ぶのを模倣すること。
• 事前辞書や事前に区切られた学習データに依存しない、言語に依存しないモデルを構築すること。
• 音声頻度、語の頻度、語の順序制約に基づく語系列の同時確率をモデリングすることで、区切りの正確性を向上させること。
• 標準的な言語工学データセットとは顕著に異なる自然主義的子供向け会話コーパスに対して、アルゴリズムを評価すること。
• 子供が連続した入力から語をどのように発見するかを説明する、認知的に妥当な早期言語習得のモデルを提供すること。

提案手法

• アルゴリズムは、全コーパスの生成を一つの確率的出来事として扱うベイジアンモデルを用い、観測された入力に一致する可能性のあるすべての語系列に事前確率を割り当てる。
• 音声、語の順序、語の頻度を相互に置き換え可能なコンポーネントとして扱うモジュラー確率モデルを採用し、言語に特化した微調整を可能にする。
• 語区切りは、語の事前確率を最大化することで決定され、語の事後分布を推定するのではなく、語系列の事前確率を最大化することで実現する。
• 動的計画法を用いて最も確率の高い区切りを効率的に計算し、複数回のパスやグローバル最適化の必要を回避する。
• 語彙における音声頻度を、新しい語候補の妥当性を評価する重要な要因として組み込み、低頻度の音声系列が語として扱われる可能性を低減する。
• 語の種類に対する事前分布を、その頻度と長さに基づき、ズィフトの法則やマンドルブロットのモデルなどの既知の分布を根拠として用いる。

実験結果

リサーチクエスチョン

• RQ1 全コーパスレベルの事前確率に基づく一元的で統合的な確率的モデルは、子供向けの会話文書における既存の未教師あり区切りアルゴリズムを上回ることができるか？
• RQ2 語彙的音声頻度を組み込むことで、連続入力における語区切り検出の正確性はどの程度向上するか？
• RQ3 全コーパスを一つの出来事として扱うモデルは、語の確率を段階的に推定するモデルよりも優れた区切りを生み出すか？
• RQ4 短い発話と変動する語区切りが特徴的なコーパスでは、このアルゴリズムの性能はどの程度か？
• RQ5 このモデルは、熟知された語を区切ることの傾向や、重複するセグメントを避ける傾向といった認知的現象を説明できるか？

主な発見

• MBDP-1は、自然な親子会話の音声トランスクリプトにおいて、他の未教師あり区切りアルゴリズムを上回る性能を発揮し、特に発話境界が提供されており、発話が短い場合に顕著である。
• 語系列の事前確率を活用することで、音声頻度、語の頻度、語の順序統計を組み合わせた語系列の事前確率を用いることで、区切りの正確性が向上している。
• 語彙内での音声頻度を組み込むことで、周辺音声が少ない語候補（例：初期音声がレアな語）を効果的に除外する能力が向上した。
• モデルは、低頻度の音声系列からなる新しい語が形成される可能性が低いと予測しており、これは人工言語学習実験の行動データと整合する。
• 重複する既知の語と重ならない場合、特に長い未区切りの文字列の中でも、熟知された語を効果的に同定できる。
• モデルの性能はINCDROPフレームワークと整合しており、子供が区切り決定において新しい語の長さを最小限に抑え、語の頻度を最大化するという仮説を支持する。