[論文レビュー] Exploiting Syntactic Structure for Natural Language Modeling

Chelba, Ciprian|ArXiv.org|Jan 24, 2000

Topic Modeling参考文献 27被引用数 52

ひとこと要約

本稿では、最大尤度再推定に基づくパrameter化を施したシフト・リダクス・パーサーを用いて構文解析と確率的言語モデルを統合する構造化言語モデルを提案する。階層的な構文構造を活用することで、Wall Street Journal、Switchboard、Broadcast Newsコーパスにおいて、標準的な3-gramモデルと比較してパープレキシティと語誤り率の両面で顕著な向上を達成した。

ABSTRACT

The thesis presents an attempt at using the syntactic structure in natural language for improved language models for speech recognition. The structured language model merges techniques in automatic parsing and language modeling using an original probabilistic parameterization of a shift-reduce parser. A maximum likelihood reestimation procedure belonging to the class of expectation-maximization algorithms is employed for training the model. Experiments on the Wall Street Journal, Switchboard and Broadcast News corpora show improvement in both perplexity and word error rate - word lattice rescoring - over the standard 3-gram language model. The significance of the thesis lies in presenting an original approach to language modeling that uses the hierarchical - syntactic - structure in natural language to improve on current 3-gram modeling techniques for large vocabulary speech recognition.

研究の動機と目的

• 大語彙連続音声認識の改善を図るために、構文構造を言語モデルに統合する。
• 言語モデルのための新しい確率的パrameter化を有するシフト・リダクス・パーサーの開発。
• 期待値最大化に基づく最大尤度再推定手順を用いてモデルを学習する。
• 主な音声認識コーパスにおける標準的な3-gram言語モデルと比較して、モデルの性能を評価する。
• 構文構造が言語モデルの精度と頑健性を向上させることを示す。

提案手法

• モデルは、文の構文的依存関係を捉える確率的パrameter化を施したシフト・リダクス・パーサーを用いる。
• 期待値最大化クラスに属する最大尤度再推定手順を用いてモデルパラメータを学習する。
• パーサーは生テキスト上で学習され、得られた構文構造を言語モデルの確率推定を導くために用いる。
• モデルは構文的構成要素と語の同時確率を計算し、言語の階層的モデリングを可能にする。
• このアプローチにより、構文的に情報に基づいた確率を用いて音声認識システム内の語ラティスを再スコアリングが可能になる。
• パープレキシティと語誤り率の向上を評価するために、Wall Street Journal、Switchboard、Broadcast Newsコーパスで手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 構文構造は、大語彙音声認識における言語モデル性能の向上に効果的に活用可能か？
• RQ2 確率的パrameter化を施したシフト・リダクス・パーサーは、標準的なn-gramモデルと比較してパープレキシティと語誤り率においてどのように異なるか？
• RQ3 階層的な構文構造は、どの程度言語モデリングにおける曖昧さを低減するか？
• RQ4 パーサーと言語モデリングの統合は、音声認識システムにおける測定可能な改善をもたらすか？
• RQ5 期待値最大化に基づく提案された学習手順は、構文的言語モデルの学習に有効であるか？

主な発見

• 構造化言語モデルは、Wall Street Journal、Switchboard、Broadcast Newsコーパスにおいて、標準的な3-gramモデルよりも低いパープレキシティを達成した。
• すべての3つのコーパスにおいて、語ラティスの再スコアリングにおいて3-gramベースラインと比較して語誤り率が低減した。
• 改善は統計的に有意であり、構文構造が言語モデリングにおける価値を示した。
• 最大尤度再推定手順は、生テキストから意味のある構文的および確率的パラメータを効果的に学習した。
• パーサーと言語モデリングの統合により、特に長距離依存関係の処理においてより正確な言語モデリングが実現した。
• 結果から、構文構造が言語モデルの一般化を向上させる意味のある誘導的バイアスを提供することが示唆された。