[論文レビュー] Refinement of a Structured Language Model

Ciprian Chelba, Jelinek, Frederick|ArXiv.org|Jan 24, 2000

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、構文解析木を言語モデルに統合することで、n-gramを越える長距離依存関係を活用し、語の予測を改善する構造的言語モデルを提案する。左から右への要因的アプローチとEMに基づく再推定、削除補間を用いた関数的確率モデルにより、三重語彙モデルベースライン比で15.4%の相対的困惑度低減を達成した。さらに補間を適用することでさらなる向上が得られ、自動音声認識への応用可能性が示された。

ABSTRACT

A new language model for speech recognition inspired by linguistic analysis is presented. The model develops hidden hierarchical structure incrementally and uses it to extract meaningful information from the word history - thus enabling the use of extended distance dependencies - in an attempt to complement the locality of currently used n-gram Markov models. The model, its probabilistic parametrization, a reestimation algorithm for the model parameters and a set of experiments meant to evaluate its potential for speech recognition are presented.

研究の動機と目的

• n-gramモデルが言語モデルにおける長距離依存関係を捉える能力に限界があることに対処すること。
• 語と構文解析構造を同時にモデル化する左から右への要因的言語モデルを構築すること。
• 開発データおよびチェックデータ上で削除補間を用いたEMに基づく再推定手順により、言語モデルのパラメータを最適化すること。
• Wall Street Journalコーパスを用いて、困惑度を指標としてモデルの性能を評価すること。
• 提案モデルを自動音声認識システムに統合し、語誤り率の低減を図ること。

提案手法

• モデルは、語列Wと解析木Tの同時確率P(W, T)を要因的アプローチで計算する。Tには品詞（POS）タグ、非終端記号（NT）タグ、および頭語（headword）のアノテーションが含まれる。
• モデルは左から右へ段階的に構文構造を構築し、2分木構造における頭語伝播を用いて、関連する長距離コンテキストを同定する。
• モデルは、解析木の導出確率ρ(W_k, T_k)から得られる固定遷移確率を持つ隠れマルコフモデル（HMM）フレームワークを採用する。
• パラメータ再推定にはEMアルゴリズムを用いる。Eステップでは期待同時カウントを計算し、Mステップでは条件付き確率の平滑化に削除補間を適用する。
• L2R-WORD-PREDICTORコンponentは、最初の再推定パスで得られた初期カウントを用いて、2回目のパスで最適化される。
• チェックデータ上で学習された重みλ=0.36を用いた三重語彙モデルとの補間を適用することで、さらなる性能向上が図られた。

実験結果

リサーチクエスチョン

• RQ1 構文解析構造を言語モデルに統合することで、n-gramモデルを上回る予測精度を達成できるか？
• RQ2 語と構文解析構造を同時にモデル化する左から右への要因的言語モデルを、EMに基づく再推定を用いて効率的に学習できるか？
• RQ3 解析木における頭語伝播の使用が、語の予測における長距離依存関係の捉え方を向上させられるか？
• RQ4 補間を用いて構造的モデルと三重語彙モデルを統合した場合、達成可能な困惑度低減率はどの程度か？
• RQ5 提案されたモデルは、自動音声認識システムに効果的に統合可能であり、語誤り率の低減に寄与できるか？

主な発見

• L2R-WORD-PREDICTORモデルは、5回の再推定イテレーションを経て、テストセットの困惑度が153.76に低下し、三重語彙モデルベースライン（167.14 PPL）比で15.4%の相対的低減を達成した。
• チェックデータ上でλ=0.36で学習された三重語彙モデルとの補間により、テストセットの困惑度は147.70に低下し、三重語彙モデルベースライン比で11%の相対的改善が得られた。
• モデルの理論的下限の困惑度は99.60であり、三重語彙モデル比で41%の相対的低減が可能であることを示唆しており、さらなる改善の余地があることが示された。
• 最初の再推定パス（E1–E3）により、テスト困惑度は初期状態（E0）の167.47から158.28に低下し、反復的最適化による一貫した改善が確認された。
• モデルの性能は、WSJコーパスの100万語分の開発データ上で検証された。語彙数は1万語、品詞タグは40種、非終端記号タグは52種、パーサー操作は107種であった。
• 結果から、構文構造を組み込んだ構造的言語モデルは、標準的なn-gramモデルを著しく上回る性能を示す可能性があることが示唆された。