[論文レビュー] On Using Selectional Restriction in Language Models for Speech Recognition

J.P. Ueberla|ArXiv.org|Aug 19, 1994

Natural Language Processing Techniques参考文献 6被引用数 3

ひとこと要約

本稿では、音声認識における言語モデルへの選択的制限（動詞とその目的語間の意味的制約）の統合を調査する。タグなしコーパス、タガー、有限状態機械を用いて動詞目的語ペアを抽出し、クラスタリングされたバイグラム言語モデルと動詞固有の選択的制限を組み合わせることで、単体のモデルよりもより顕著にパープレキシティを低減できることを示している。これは、言語モデルの性能向上を示している。

ABSTRACT

In this paper, we investigate the use of selectional restriction -- the constraints a predicate imposes on its arguments -- in a language model for speech recognition. We use an un-tagged corpus, followed by a public domain tagger and a very simple finite state machine to obtain verb-object pairs from unrestricted English text. We then measure the impact the knowledge of the verb has on the prediction of the direct object in terms of the perplexity of a cluster-based language model. The results show that even though a clustered bigram is more useful than a verb-object model, the combination of the two leads to an improvement over the clustered bigram model.

研究の動機と目的

• 選択的制限（動詞とその直接目的語間の意味的制約）が音声認識における言語モデルの性能に与える影響を調査すること。
• 標準的なn-gramモデルを超えて、動詞固有の制約を組み込むことで言語モデルの精度が向上するかどうかを特定すること。
• クラスタリングされたバイグラムモデルと動詞目的語ペアの知識を組み合わせることで、パープレキシティを低減する効果を評価すること。
• タガーと有限状態機械といった基本的な自然言語処理ツールを用いて、タグなしテキストから選択的制限を抽出する可能性を検討すること。

提案手法

• 公開ドメインの品詞タガーを用いて、英語のタグなしコーパスを処理し、動詞および名詞のトークンを特定した。
• シンプルな有限状態機械を用いて、タグ付きテキストから動詞目的語ペアを抽出し、原始的な選択的制限データベースを構築した。
• 同じコーパスを用いてクラスタリングベースのバイグラム言語モデルを学習し、ベースラインとして用いた。
• クラスタリングベースのモデルの性能を、クラスタリングベースのモデルと動詞固有の選択的制限を組み合わせたハイブリッドモデルと比較した。
• パープレキシティを主な評価指標として用い、言語モデルの予測精度を測定した。
• 選択的制限を適用した際のパープレキシティの低下を分析することで、動詞の知識が目的語予測に与える影響を定量化した。

実験結果

リサーチクエスチョン

• RQ1 タグなしテキストから抽出した選択的制限は、音声認識における言語モデルの性能を向上させることができるか？
• RQ2 動詞固有の制約を組み込むことで、クラスタリングベースの言語モデルのパープレキシティにどのような影響を与えるか？
• RQ3 クラスタリングされたバイグラムモデルと動詞目的語ペアモデルを組み合わせることで、単体のモデルよりも優れた結果が得られるか？
• RQ4 動詞の知識は、直接目的語を予測する際の不確実性をどの程度低減するか？

主な発見

• クラスタリングされたバイグラムモデルと動詞目的語モデルを組み合わせたモデルは、クラスタリングされたバイグラムモデル単体よりも低いパープレキシティを達成した。
• クラスタリングされたバイグラムモデルは個別に動詞目的語モデルを上回っていたが、ハイブリッドモデルはベースラインよりも顕著な改善を示した。
• 選択的制限の統合により、パープレキシティが測定可能な程度で低減され、動詞が与えられた場合の直接目的語の予測精度が向上していることが示された。
• 単純な処理パイプラインから抽出された選択的制限であっても、音声認識タスクにおける言語モデルの性能を有意義に向上させられることを示している。