[論文レビュー] Similarity-Based Methods For Word Sense Disambiguation

Ido Dagan, Lillian Lee+1 more|ArXiv.org|Aug 18, 1997

Natural Language Processing Techniques参考文献 13被引用数 15

ひとこと要約

本稿では、語の対間類似度を用いて未知の共起確率を推定することで、語の意味の解釈におけるデータのスパarsity問題に対処する類似度ベースの確率的言語モデルを提案する。特に、平均分布への全偏差に基づくモデルが、従来のバックオフ法や最尤推定法と比較して、擬似語の意味の解釈タスクで最大40%の性能向上を達成しており、特に単一出現語（singleton）が性能に重要な役割を果たしていることが示された。

ABSTRACT

We compare four similarity-based estimation methods against back-off and maximum-likelihood estimation methods on a pseudo-word sense disambiguation task in which we controlled for both unigram and bigram frequency. The similarity-based methods perform up to 40% better on this particular task. We also conclude that events that occur only once in the training set have major impact on similarity-based estimates.

研究の動機と目的

• 未知の語の対の確率推定を改善することで、自然言語処理におけるデータのスパarsity問題に対処すること。
• クラスベースやバックオフモデルとは対照的に、類似度ベースの推定手法を代替手法として評価すること。
• 特に単一出現語（頻度1回）を含む低頻度事象が、類似度ベースの推定に与える影響を調査すること。
• 複数の類似度ベースのモデルの性能を、古典的手法と比較すること。
• バックオフ手法で主張されているように、類似度ベースの言語モデルにおいて単一出現語を安全に無視できるかどうかを評価すること。

提案手法

• 本手法は、類似語からの証拠を統合することで、未知の語の対の確率を推定するために語の類似度を利用する。
• 類似度関数によって決定される重みを用いて、観測された共起頻度の重み付き組み合わせを採用する。
• 主な類似度測定法である A(w1, w1') は、語の経験的分布が全語の平均分布から受ける全偏差を計算する。
• 類似語の影響を制御するパラメータ β を用い、各訓練セットに対して最適化する。
• 事前に定義された語クラスを避ける代わりに、局所的な類似度近傍に依存する。
• 4つの類似度ベースの手法（L1ノルム、誤り確率、平均分布への全偏差（A）、ランダム重みベースライン（RAND））を比較する。

実験結果

リサーチクエスチョン

• RQ1 類似度ベースの推定手法は、古典的手法（バックオフ法やMLE法）と比較して、未知の語の対の確率推定において顕著な性能向上を達成できるか？
• RQ2 L1ノルム、誤り確率、全偏差など、異なる類似度測定法は、未知の共起をモデル化する能力においてどのように比較できるか？
• RQ3 単一出現語（頻度1回の出現）を削除した場合、類似度ベースのモデルの性能にどのような影響が生じるか？
• RQ4 平均分布への全偏差が、他の類似度ベースの手法と比較して統計的に有意な改善をもたらすか？
• RQ5 バックオフ手法と同様に、類似度ベースの言語モデルにおいて単一出現語を安全に無視できるか？

主な発見

• 平均分布への全偏差（A）に基づく類似度ベースの手法が最も優れた性能を示し、誤り確率法よりも平均で0.0082の向上を達成した（p < 0.085）。
• 類似度ベースの全手法が、バックオフ法とMLE法（両者とも約51%の正答率）と比較して、誤差率を最大40%まで低減した。
• 単一出現語を無視した場合、平均分布への全偏差（A）に基づく手法は誤り確率法よりも平均で0.024の向上を示し、有意水準0.01（対応t検定）で有意であった。
• 類似度ベースのモデルにおいて、単一出現語を学習データに含めることは不可欠であった。それらを無視すると顕著な性能低下が生じ、バックオフモデルの仮定とは矛盾した。
• ランダム重みベースライン（RAND）は著しく低い性能を示し、類似度に依存する重み付けが本質的であり、単に他の語からの情報を組み合わせるだけでは不十分であることが示された。
• 最適な β パrameter は、L1ノルムでは4.0〜4.5、全偏差法では10〜13の範囲にあり、単一出現語を含める場合にはより高い値が使用された。