[論文レビュー] Recognition Performance of a Structured Language Model

Ciprian Chelba, Frederick Jelinek|ArXiv.org|Jan 24, 2000

Speech Recognition and Synthesis参考文献 7被引用数 32

ひとこと要約

本論文は、構文解析木を段階的に構築することで、音声認識における長距離依存関係を捉える構造的言語モデル（SLM）を提案する。従来の trigram モデルに比べて性能を向上させる。階層的な構文構造と確率的モデリングを統合し、A* ラティスデコーダーを用いることで、パープレキシティを 1.4–1.8% 減少させ、SWITCHBOARD コーパスにおいてベースラインの trigram モデルに比べて 1% の絶対的語誤り率（WER）の改善を達成した。

ABSTRACT

A new language model for speech recognition inspired by linguistic analysis is presented. The model develops hidden hierarchical structure incrementally and uses it to extract meaningful information from the word history - thus enabling the use of extended distance dependencies - in an attempt to complement the locality of currently used trigram models. The structured language model, its probabilistic parameterization and performance in a two-pass speech recognizer are presented. Experiments on the SWITCHBOARD corpus show an improvement in both perplexity and word error rate over conventional trigram models.

研究の動機と目的

• 構文構造を用いて、音声認識における長距離依存関係を捉える言語モデルを開発すること。
• trigram モデルの局所的制限を、階層的かつ左から右への解析構造を組み込むことで克服すること。
• A* 探索アルゴリズムを用いたラティスベース推論により、効率的なデコーディングを可能にすること。
• ラティス再スコアリングを用いた二段階音声認識フレームワークにおけるモデルの性能を評価すること。
• 構文構造が従来の n-gram モデルを上回るパープレキシティと語誤り率の向上をもたらすことを示すこと。

提案手法

• SLM は、語列 W とその二分木構造の解析木 T に対して、端末を語と品詞タグとし、ノードには語幹と非端末記号を付加した関連確率 P(W,T) を割り当てる。
• モデルは三段階の確率的分解を用いる：P(w_k|W_{k-1}T_{k-1})、P(t_k|w_k, W_{k-1}T_{k-1})、P(p_i^k|W_kT_k) で、削除補間を用いてパrameter化される。
• 指数的に増加する解析木空間（O(2^k)）を扱えるようにするため、同期的マルチスタック探索アルゴリズムが用いられ、推論の実行可能性が確保される。
• 最終的な語の確率は、有効な解析木の重み付き和として計算される：P_SLM(w_{k+1}|W_k) = Σ P(w_{k+1}|W_kT_k) × ρ(W_k, T_k)、ここで ρ は解析木確率を正規化する。
• N-best EM の変種が用いられ、学習データ上のパープレキシティを最小化するようにモデルパラメータを再推定する。
• ヒューリスティックな前方予測とスタック深さ制限を備えた A* ラティスデコーダーが、語ラティス内の最適パスを特定するために用いられ、SLM と trigram モデルの補間が行われる。

実験結果

リサーチクエスチョン

• RQ1 左から右への、要因分解された言語モデルが、段階的に構文構造を構築することで、音声認識性能を向上させることができるか？
• RQ2 階層的な構文構造を組み込むことで、trigram モデルと比較してパープレキシティと語誤り率が低下するか？
• RQ3 構造的言語モデルは、ラティスベースのデコーディングフレームワークにおいて、長距離依存関係を効果的に活用できるか？
• RQ4 Viterbi と N-best 再スコアリングと比較して、A* 探索戦略は WER とパス品質の点でどのように優れているか？
• RQ5 トークナイゼーションの不一致があるにもかかわらず、SLM と trigram モデルの補間が性能向上にどの程度寄与するか？

主な発見

• SLM は、ベースラインの trigram モデルに比べて、1% の絶対的語誤り率（WER）の低減を達成した。統計的有意性は 0.002 水準で確認された。
• 再推定された SLM を用いた場合、テストセットにおけるパープレキシティは 71.0 から 65.4 へと 1.8% 減少した。
• SLM を trigram モデルと補間することで、さらにパープレキシティが低下したが、トークナイゼーションの不一致のため補間は厳密には有効ではなかった。
• Viterbi 検索に比べ、A* デコーダーは trigram の場合に 0.3% WER の改善を示し、効果的なパスの刈り取りとヒューリスティックな誘導が有効であった。
• 2,427 個のテスト文のうち 585 文において、A* 探索が N-best の 1-best より低いスコアの仮説を選択したが、その WER は依然として低く、一般化性能が優れていた。
• A* 仮説の 25-best リスト内での平均順位は 1.07 であり、最適パスと強い一致を示していた。