[論文レビュー] Structured Language Modeling for Speech Recognition

Ciprian Chelba, Frederick Jelinek|ArXiv.org|Jan 25, 2000

Natural Language Processing Techniques参考文献 4被引用数 24

ひとこと要約

本論文では、語、品詞素性、句構造操作の予測に基づく確率的枠組みを用いて、語列とその句構造解析木を同時にモデル化する構造的言語モデル（SLM）を提案する。三重項言語モデルと線形補間することで、WSJテストセットにおいて16%の相対的パープレキシティ低減と10%の相対的WER改善を達成し、構造的言語的知識を統合することで、自動音声認識性能が顕著に向上することを示している。

ABSTRACT

A new language model for speech recognition is presented. The model develops hidden hierarchical syntactic-like structure incrementally and uses it to extract meaningful information from the word history, thus complementing the locality of currently used trigram models. The structured language model (SLM) and its performance in a two-pass speech recognizer --- lattice decoding --- are presented. Experiments on the WSJ corpus show an improvement in both perplexity (PPL) and word error rate (WER) over conventional trigram models.

研究の動機と目的

• 従来のn-gram言語モデルが文法的構造や長距離依存関係を十分に捉えられないという限界を是正すること。
• 語列とその完全な二分木解析木の両方に確率を割り当てる確率的モデルを構築し、句の中心語と非終端記号ラベルを統合すること。
• 特に lattice 再スコアリングとデコードにおいて、構造的言語的知識を言語モデルに統合することで、自動音声認識性能を向上させること。
• SLM が標準的な三重項モデルと補完的であることを示し、特に補間された場合にパープレキシティと語誤り率の測定可能な向上をもたらすこと。

提案手法

• 各位置 k における語、品詞素性、解析操作の確率の積として、語列 W とその解析木 T の同時確率 P(W,T) を要因分解する。
• 削除補間を用いて3つの主要確率を推定する：語予測 P(w_k|history)、品詞素性予測 P(t_k|w_k, history)、解析操作予測 P(p_i^k|history)。ここで history には露出された中心語が含まれる。
• 指数的に増大する解析空間（k語の接頭辞に対して O(2^k) 解析木）を効率的にプルーニングするため、同期的マルチスタック探索アルゴリズムを用いる。
• lattice 再スコアリングを伴う N-best EM アルゴリズムを適用し、訓練データ上で尤度を最大化しながら確率正規化を保つようにモデルパラメータを再推定する。
• 線形補間（P = λ·P_trigram + (1−λ)·P_SLM）により SLM をベースライン三重項モデルと統合し、λ は開発セット上で最適化する。
• n-gram推定に基づく先読み関数を用いた A* デコードアルゴリズムを lattice 上で実行し、言語的構造を保持したまま効率的な探索を実現する。

実験結果

リサーチクエスチョン

• RQ1 語と構文解析木を同時にモデル化する構造的言語モデルは、標準的なn-gramモデルと比較して自動音声認識性能を向上させることができるか？
• RQ2 中心語と非終端記号ラベルのモデル化による構文構造の統合は、自動音声認識におけるパープレキシティと語誤り率にどのような影響を与えるか？
• RQ3 SLM が三重項モデルと補間された場合、どの程度補完的であるか、最適な補間重みは何か？
• RQ4 ベースライン三重項モデルより半分の学習データ（40M語）しか使わないにもかかわらず、SLM は lattice 再スコアリングで顕著な WER 改善を達成できるか？
• RQ5 大規模な状態空間を持つ構造的言語モデルを用いた場合、先読みを伴う A* デコード戦略は lattice デコードにおいてどの程度効果的か？

主な発見

• SLM は三重項モデル（λ=0.4）と補間された場合、WSJ0 テストセットで16%の相対的パープレキシティ低減（PPL 109 対 130）を達成し、顕著な性能向上を示した。
• lattice 再スコアリングにおいて、SLM はベースライン三重項モデルより1%（10%相対的）の WER 減少を達成し、符号検定（p=0.0008）で有意であった。
• HUB1 テストセットでは、単一の再推定イテレーション後、SLM は10%の相対的パープレキシティ低減（PPL 136 対 152）を達成した。これは、たとえ学習データが20M語にとどまっても成立した。
• ベースライン三重項モデル（40M語）の半分の学習データ（20M語）しか使わなかったにもかかわらず、lattice 再スコアリングで 0.7% の絶対的 WER 改善（13.7% から 13.0%）を達成し、高いデータ効率性を示した。
• パrameter 再推定により SLM の性能が向上し、パープレキシティが 144 から 133（補間後）に低下したが、主な利益は三重項モデルとの補間によるものであった。
• SLM を用いた 10-best リスト再スコアリングでは WER が 9.9% にまで低下し、制限付きデコード環境下でも優れた性能を示した。