[論文レビュー] Distinguishing Word Senses in Untagged Text

Ted Pedersen, Rebecca Bruce|ArXiv.org|Jun 9, 1997

Natural Language Processing Techniques参考文献 37被引用数 129

ひとこと要約

この論文は、手動でタグ付けされていないテキストから自動抽出された特徴量に基づいて、語の意味のあいまいさを解消するための、非教師あり学習アルゴリズム3つ—McQuittyの類似度分析、Wardの最小分散法、EMアルゴリズム—を評価している。研究では、高次元の特徴量セットを用いたMcQuitty法が、名詞において特に顕著に高い正確性を達成した。これは、意味の分布の偏りをより効果的に扱えるためで、形容詞や動詞の処理に比べて優れた性能を示した。

ABSTRACT

This paper describes an experimental comparison of three unsupervised learning algorithms that distinguish the sense of an ambiguous word in untagged text. The methods described in this paper, McQuitty's similarity analysis, Ward's minimum-variance method, and the EM algorithm, assign each instance of an ambiguous word to a known sense definition based solely on the values of automatically identifiable features in text. These methods and feature sets are found to be more successful in disambiguating nouns rather than adjectives or verbs. Overall, the most accurate of these procedures is McQuitty's similarity analysis in combination with a high dimensional feature set.

研究の動機と目的

• 手動でアノテートされた学習データに依存しない知識獲得のボトルネックを解消すること。
• 手動で抽出された特徴量のみに基づいて語の意味を割り当てる非教師あり学習アルゴリズムを評価すること。
• 教師なし例なしで語の意味を区別するためのクラスタリング手法と確率的モデルの有効性を調査すること。
• 品詞ごとの性能を比較し、名詞、動詞、形容詞の間で意味あいまいさ解消の成功度に差があるかどうかを評価すること。
• 非教師あり語の意味あいまいさ解消に最も効果的なアルゴリズムと特徴量セットの組み合わせを同定すること。

提案手法

• 語のインスタンス間の特徴差を表す類似度行列を用いる。類似度は、品詞（POS）、語彙的構造、共起性の各特徴における一致しない特徴の数として定義される。
• McQuittyの類似度分析を適用する。これは、一致する特徴数に基づいてクラスタを段階的に統合する階層的クラスタリング手法で、クラスタ間の類似度を最小化する。
• Wardの最小分散法を適用する。これは、クラスタ内分散の平方和を最小化するようにクラスタを統合する手法であり、特徴空間におけるデータの正規分布を仮定する。
• EMアルゴリズムを用いて、確率的混合モデルのパラメータを推定する。反復的にクラスタ割り当てとモデルパラメータを改善する。
• 品詞タグ、語彙的特徴、およびSVDを用いて抽出された高次元の文字4-グラム共起ベクトルを含む特徴セットを構築する。
• 各アルゴリズムを用いて語のインスタンスをクラスタリングし、その後手動でクラスタに意味のラベルを割り当て、既知の意味定義と照合して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 教師なし学習アルゴリズムは、ラベル付き学習データが一切ない状況でも、語の意味あいまいさを効果的に解消できるか？
• RQ2 McQuittyの類似度分析、Wardの最小分散法、EMアルゴリズムは、語の意味あいまいさ解消タスクにおいて、性能に差があるか？
• RQ3 特徴量セットの選択が、特に高次元表現を用いる場合に、意味あいまいさ解消の正確性に顕著な影響を与えるか？
• RQ4 特定の品詞（名詞、動詞、形容詞）は、他の品詞と比べて非教師あり意味あいまいさ解消に適しているか？
• RQ5 意味の分布が偏っている場合、非教師あり学習アルゴリズムの意味あいまいさ解消性能にどのような影響を与えるか？

主な発見

• テストされた3つのアルゴリズムの中で、高次元の特徴量セットを用いたMcQuittyの類似度分析が、最も高い意味あいまいさ解消正確性を達成した。
• すべての3つのアルゴリズムの性能は、意味の分布が著しく偏っている状況で低下し、これは希少な意味の処理における課題を示している。
• 名詞は形容詞や動詞よりもより効果的に意味あいまいさが解消された。これは、品詞の種別が意味あいまいさ解消の成功度に影響を与える可能性を示唆している。
• 高次元の特徴量、特にSVDを用いて抽出された文字4-グラム共起ベクトルの使用が、意味あいまいさ解消の性能を顕著に向上させた。
• EMアルゴリズムは有望な結果を示したが、確率的パラメータ推定の枠組みを有するにもかかわらず、McQuitty法を上回ることはなかった。
• この特定の非教師ありWSDの設定において、階層的クラスタリング手法（McQuittyおよびWard）がEMアルゴリズムを上回った。特に、提示された特徴量セットにおいて顕著な性能差が見られた。