[論文レビュー] Word Sense Disambiguation by Web Mining for Word Co-occurrence Probabilities

Peter D. Turney|ArXiv.org|Jul 29, 2004

Natural Language Processing Techniques参考文献 7被引用数 14

ひとこと要約

この論文は、外部の語彙知識を用いずに、ウェブから抽出した語の共起確率を用いて意味特徴を生成する、Senseval-3英語語彙サンプルタスク向けのNRCの意味解析解消（WSD）システムを提示する。このシステムはWekaとBrillのタガーを用いた教師あり学習アプローチを採用し、粗い粒度のF1スコアで75.9％を達成した。これは、コーパスベースの意味特徴がWSD性能を顕著に向上させることを示している。

ABSTRACT

This paper describes the National Research Council (NRC) Word Sense Disambiguation (WSD) system, as applied to the English Lexical Sample (ELS) task in Senseval-3. The NRC system approaches WSD as a classical supervised machine learning problem, using familiar tools such as the Weka machine learning software and Brill's rule-based part-of-speech tagger. Head words are represented as feature vectors with several hundred features. Approximately half of the features are syntactic and the other half are semantic. The main novelty in the system is the method for generating the semantic features, based on word \hbox{co-occurrence} probabilities. The probabilities are estimated using the Waterloo MultiText System with a corpus of about one terabyte of unlabeled text, collected by a web crawler.

研究の動機と目的

• 大規模なラベルなしウェブテキストを活用して意味特徴を生成する、堅牢な教師ありWSDシステムの開発。
• 語の共起確率から得られるコーパスベースの意味特徴が、語彙ベースの特徴に代わってWSDで効果的に機能するかの検証。
• Senseval-3 ELSベンチマークにおいて、特徴豊富で構文的・意味的ハイブリッドなモデルの性能評価。
• 現実世界のウェブデータを用いた特徴選択および正規化戦略がWSDの正確性に与える影響の特定。
• ウェブから抽出した特徴を用いる文脈において、細かめの意味ラベルと粗い粒度の意味ラベルの有効性の比較。

提案手法

• 各頭語の中心に9語のウィンドウを設定し、品詞タグはBrillのルールベースタガーで割り当てる。
• 構文的特徴は品詞タグを用いて3つのマッチングタイプ（ptag：部分的タグ一致、tag：正確なタグ一致、word：正確な語一致）から導出する。
• 意味的特徴は、1TBのウェブコーパスから水曜大学のMultiTextシステムを用いて推定された語の共起確率を用いて生成する。
• 共起確率はポイントワイズ相互情報量（PMI）スコアに変換され、その後各特徴ベクトルごとに百分位数に正規化される。
• 特徴ベクトルは約50％の構文的特徴と約50％の意味的特徴を含み、すべての特徴は内部的に百分位数に正規化され、学習の安定性を向上させる。
• 最終分類には、バギングを用いた5つのWekaベース分類器の投票アンサンブルを採用し、多クラス予測には1対すべて戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 大規模かつラベルなしのウェブテキストは、外部語彙知識を一切用いずに、WSDに意味のある意味特徴を生成するために効果的に活用可能か？
• RQ2 コーパスベースの意味特徴（語の共起確率から得る）を用いたWSDシステムの性能は、整理された語彙リソースを用いたシステムと比べてどうか？
• RQ3 教師ありWSDフレームワークにおいて、構文的特徴と意味的特徴の最適なバランスは何か？
• RQ4 意味的特徴の百分位数正規化は、未知のテストデータに対するモデルの汎化性能と安定性を向上させるか？
• RQ5 コーパスベースの特徴を用いる場合、細かめの意味ラベルを粗い粒度の等価クラスに再ラベルすることにより、WSD性能が向上するか？

主な発見

• NRC-Fineシステムは、Senseval-3 ELSタスクで細かめの粒度F1スコア69.4％、粗い粒度F1スコア75.9％を達成した。
• NRC-Coarse2システムは、粗い粒度F1スコア75.7％を達成し、これは細かめの粒度システムと同等の性能であり、粗い粒度ラベル付けが性能向上に寄与しなかったことを示している。
• より多くの意味的特徴を保持（過度なプルーニングを回避）した場合に性能が向上したため、特徴選択のしきい値は慎重に設定すべきであると示唆された。
• システムの性能は、47件のSenseval-3参加システムの中では中程度であり、最高スコア（細かめ69.4％、粗い粒度79.5％）と中央値（細かめ65.1％、粗い粒度73.7％）の間の位置を占めた。
• 意味的特徴の百分位数正規化がモデルの安定性と性能を向上させた。これは、PMIベースの学習において先行研究と整合する結果であった。
• 語彙知識が欠落していても性能に悪影響が及ばなかった。これは、大規模なウェブコーパスがWSDの意味的知識源として効果的であることを裏付けた。