[論文レビュー] Learning string edit distance

Eric Sven Ristad, P.N. Yianilos|ArXiv.org|Oct 29, 1996

Algorithms and Data Compression参考文献 24被引用数 27

ひとこと要約

本稿では、例としての文字列ペアのコーパスから文字列編集距離を学習するための確率的モデルを提案しており、編集コストの自動最適化を可能にしている。文字列変換を確率的トランスducerとしてモデル化し、EMに基づく学習を用いることで、Switchboardコーパスにおける発音モデリングタスクで、手動で設定された編集コストを用いないLevenshtein距離と比較して誤差率を75%低減した。

ABSTRACT

In many applications, it is necessary to determine the similarity of two strings. A widely-used notion of string similarity is the edit distance: the minimum number of insertions, deletions, and substitutions required to transform one string into the other. In this report, we provide a stochastic model for string edit distance. Our stochastic model allows us to learn a string edit distance function from a corpus of examples. We illustrate the utility of our approach by applying it to the difficult problem of learning the pronunciation of words in conversational speech. In this application, we learn a string edit distance with one fourth the error rate of the untrained Levenshtein distance. Our approach is applicable to any string classification problem that may be solved using a similarity function against a database of labeled prototypes. Keywords: string edit distance, Levenshtein distance, stochastic transduction, syntactic pattern recognition, prototype dictionary, spelling correction, string correction, string similarity, string classification, speech recognition, pronunciation modeling, Switchboard corpus.

研究の動機と目的

• 固定コストの編集距離の限界を克服し、文字列ペアのコーパスから自動的に文字列編集距離を学習する手法を開発すること。
• 標準的な編集距離が、一貫性のない発音表記のため失敗する会話的発話における発音変異のモデリングの課題に取り組むこと。
• 学習コーパスの統計的性質に適応する距離関数を学習することで、文字列分類の性能を向上させること。
• パターン認識における確率的モデリングの実用的有用性を、実世界の音声認識タスクへの応用を通じて示すこと。
• データから語彙的単語と語彙的エントリの確率を同時に学習することで、固定または均一なモデルよりも認識精度を著しく向上させることを示すこと。

提案手法

• 編集操作（置換、削除、挿入、終了）の確率関数 δ を用いて、メモリレスな確率的トランスダクションとして文字列編集距離をモデル化する。
• 語彙的単語（w）、基礎となる文字列（x^t）、表面文字列（y^v）の間の結合確率モデルを定義する。p(x^t, y^v, w | L) = p(w|L) * p(x^t|w,L) * p(y^v|x^t,L) と表す。
• 訓練コーパスから、語彙モデル p(w|L)、語彙的エントリモデル p(x^t|w,L)、表面モデル p(y^v|x^t,L) のパラメータをEMアルゴリズムを用いて同時に推定する。
• 推論段階では、与えられた表面文字列に対して最も確率の高い基礎となる文字列を特定するためにViterbiアルゴリズムを用い、文字列分類を実現する。
• EMで最適化された確率に基づいて、観測された文字列ペアの尤度を最大化するように編集コストを学習する。コストパラメータはEMで最適化された確率から導出される。
• 別途付録Bで、文字列長に条件づけた代替定式化を用いることで、長さに敏感な応用分野での性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 手動で設定されたコストを用いずに、例としての文字列ペアのコーパスから意味のある確率的編集距離を学習できるか？
• RQ2 語彙的単語と語彙的エントリの確率を同時に学習することで、ノイズが多いまたは変動のある文字列データにおける文字列分類精度はどの程度向上するか？
• RQ3 学習された確率的編集距離は、音声認識などの実世界の応用において、標準的なLevenshtein距離をどの程度上回るか？
• RQ4 隠れた基礎となる文字列を通じて表面形の非局所的依存関係をモデル化する場合、固定または有限範囲のモデルと比較して、どのような影響を及ぼすか？
• RQ5 語彙、語彙的エントリ、表面の複数の確率的モデルを共同で適応させることで、個別に適応させる場合よりも性能が向上するか？

主な発見

• 学習された確率的編集距離は、Switchboard発音認識タスクにおいて、手動で設定された編集コストを用いないLevenshtein距離と比較して誤差率を75%低減した。
• 語彙モデル p(w|L) と語彙的エントリモデル p(x^t|w,L) を同時に適応させることで、相乗効果が得られ、固定モデルと比較して誤差率を5〜6倍まで低減した。
• 語彙モデルのみを適応させると誤差率はほぼ半減し、語彙的エントリモデルのみを適応させても誤差率はほぼ半減するが、両者の組み合わせは期待される以上の著しい改善をもたらした。
• E3の実験では、両モデルを適応させたことで誤差率がLevenshteinの61.87%から14.28%に低下し、共同学習フレームワークの有効性を示した。
• 会話的発話における構文的語の未知の発音を認識する際、85%以上の正確性を達成し、ベースライン手法を著しく上回った。
• 本手法により、非局所的依存関係や変動する発音を捉えることができる、より洗練されたデータ駆動型の発音語彙が実現可能となり、従来の手作業によるものや有限状態モデルを凌駕した。