[論文レビュー] Similarity-Based Models of Word Cooccurrence Probabilities

Ido Dagan, Lillian Lee+1 more|ArXiv.org|Sep 27, 1998

Topic Modeling参考文献 33被引用数 70

ひとこと要約

本稿では、語の分布的類似度を用いて、自然言語処理における未知語の共起確率を推定する類似度ベースのモデルを提案する。既知の頻度から一般化するため、バックオフ言語モデルの性能を向上させ、偽語の意味解釈タスクにおいて最大40%の性能向上を達成し、未知のビグラムでは20%のパープレキシティ低減と統計的に有意な音声認識誤り率の低減を達成した。

ABSTRACT

In many applications of natural language processing (NLP) it is necessary to determine the likelihood of a given word combination. For example, a speech recognizer may need to determine which of the two word combinations ``eat a peach'' and ``eat a beach'' is more likely. Statistical NLP methods determine the likelihood of a word combination from its frequency in a training corpus. However, the nature of language is such that many word combinations are infrequent and do not occur in any given corpus. In this work we propose a method for estimating the probability of such previously unseen word combinations using available information on ``most similar'' words. We describe probabilistic word association models based on distributional word similarity, and apply them to two tasks, language modeling and pseudo-word disambiguation. In the language modeling task, a similarity-based model is used to improve probability estimates for unseen bigrams in a back-off language model. The similarity-based method yields a 20% perplexity improvement in the prediction of unseen bigrams and statistically significant reductions in speech-recognition error. We also compare four similarity-based estimation methods against back-off and maximum-likelihood estimation methods on a pseudo-word sense disambiguation task in which we controlled for both unigram and bigram frequency to avoid giving too much weight to easy-to-disambiguate high-frequency configurations. The similarity-based methods perform up to 40% better on this particular task.

研究の動機と目的

• 統計的自然言語処理におけるデータスパarsityを解消するため、未知語の共起確率を推定すること。
• 語の類似度を用いて、既知の共起頻度から一般化する手法を開発すること。
• 類似度ベースのモデルを言語モデルと偽語の意味解釈タスクに適用して評価すること。
• 制御された設定において、類似度ベースの推定法とバックオフ法・最尤推定法を比較すること。
• 異なる類似度測定法が、希少または未知の語ペアの確率推定をどの程度改善できるかを調査すること。

提案手法

• 直接的な頻度カウントに代えて、分布的語類似度を用いて、未知語の共起確率を推定する。
• バックオフ言語モデルフレームワークに類似度ベースの確率推定を適用し、未知のビグラム予測を改善する。
• 語の共起分布に、コサイン、ダイス、ジャコーディ、ジンセン＝シャノン発散の4つの類似度測定法を適用する。
• 他の語との共起パターンに基づいて語の類似度をモデル化し、各語を自身の「類似語クラス」として扱う。
• 各語が類似度に基づいて重み付けされた最も類似した語の集合に関連付けられる、ソフトな最近傍法を採用する。
• 独立性仮定に依存しない確率的モデルに類似度ベースの推定値を統合する。

実験結果

リサーチクエスチョン

• RQ1 語の類似度を用いることで、言語モデルにおける未知語の共起確率の推定を改善できるか？
• RQ2 コサインやJSDなどの異なる類似度測定法は、未知のビグラム確率推定においてどのように比較できるか？
• RQ3 バックオフモデルと比較して、類似度ベースのモデルはどの程度パープレキシティと音声認識誤り率を低減できるか？
• RQ4 制御された意味解釈タスクにおいて、類似度ベースの手法は最尤推定法やバックオフ推定法と比較してどの程度の性能を示すか？
• RQ5 類似度ベースの推定は、ビグラムを越えた長文脈や低頻度・未知の構成に対しても効果的に一般化できるか？

主な発見

• バックオフ言語モデルにおける未知ビグラムのパープレキシティは20%低減され、音声認識誤り率において統計的に有意な改善が得られた。
• 偽語の意味解釈タスクにおいて、類似度ベースの手法はバックオフ法や最尤推定法を最大40%上回った。
• ジンセン＝シャノン発散に基づく類似度測定法が、タスク全体およびパrameter設定のあらゆる側面で最良の性能を示した。
• 標準テストセットにおける未知事象の割合が比較的小さくても、顕著な改善が得られたことから、希少な構成への一般化能力が強いことが示された。
• 類似度ベースのモデルは、より長い文脈の言語モデルに対しても有望であるが、類似度探索空間が拡大するため、文脈長に伴い計算コストが増加する。
• ヒューリスティックな類似度ベースの手法は、実験的に優れた性能を示したが、クラスベースモデルに比べて理論的根拠に欠ける。