[論文レビュー] Exploring automatic word sense disambiguation with decision lists and the Web

Eneko Agirre, David Martínez|ArXiv.org|Oct 17, 2000

Natural Language Processing Techniques参考文献 18被引用数 92

ひとこと要約

本稿は、SemCorおよびDSOコーパスに加えて、Web由来の訓練データを用いた単語意味解析の意思決定リストの評価を行う。手動でタグ付けされたコーパスにおける多義語の強い語に、意思決定リストが約0.7の精度を達成するが、自動的に取得されたWebデータは性能向上に寄与せず、コーパス間の訓練は効果がない。これは、手動で整備されたデータを超えて、教師ありWSDをスケーリングする際の限界を示している。

ABSTRACT

The most effective paradigm for word sense disambiguation, supervised learning, seems to be stuck because of the knowledge acquisition bottleneck. In this paper we take an in-depth study of the performance of decision lists on two publicly available corpora and an additional corpus automatically acquired from the Web, using the fine-grained highly polysemous senses in WordNet. Decision lists are shown a versatile state-of-the-art technique. The experiments reveal, among other facts, that SemCor can be an acceptable (0.7 precision for polysemous words) starting point for an all-words system. The results on the DSO corpus show that for some highly polysemous words 0.7 precision seems to be the current state-of-the-art limit. On the other hand, independently constructed hand-tagged corpora are not mutually useful, and a corpus automatically acquired from the Web is shown to fail.

研究の動機と目的

• 意思決定リストを用いた教師あり単語意味解析のスケーラビリティを、細分化されたWordNetの意味に適用して評価すること。
• SemCor や DSO のような手動でタグ付けされたコーパスが、高精度なWSDシステムを支援できるかどうかを評価すること。
• 知識獲得のボトル neck を克服するために、Webから自動的に訓練データを取得する可能性を調査すること。
• コーパス間訓練の限界と、ノイズやデータ量の変動に対して意思決定リストがどれほど頑健であるかを特定すること。

提案手法

• 手動でタグ付けされたコーパス（SemCor および DSO）を用いて訓練された意思決定リストを、対数尤度比で重み付けされた特徴を用いて、意味解釈候補の順位付けに使用する。
• 局所的な語句連接、品詞タグ、語形素、WordNetからの意味的分野を含む特徴セットを用いて、意味の区別を向上させる。
• Mihalcea & Moldovan (1999) に基づくWebデータ取得パイプラインを実装し、WordNetの類義語と説明文を用いて検索クエリを生成し、候補例を抽出する。
• 交差コーパスタグ付け、精度/共分散分析、学習曲線を用いて、データの十分性とノイズ耐性を評価する。
• WordNetから導出された粗めの意味区分を用いて、より限定的なラベル付けの下での性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 SemCor や DSO のような既存の手動でタグ付けされたコーパスを用いて、意思決定リストは細分化されたWordNetの意味に高精度を達成できるか？
• RQ2 1つの手動でタグ付けされたコーパスから得た訓練データを、別のコーパスに移行して単語意味解析に利用できる程度はどの程度か？
• RQ3 自動的に取得されたWebデータは、手動でタグ付けされたコーパスに代わる訓練データとして、意思決定リストを用いたWSDシステムの訓練に有効に機能するか？
• RQ4 細分化されたWordNetの意味に限定して、手動でタグ付けされたデータで訓練された意思決定リストベースのWSDの性能上限は何か？

主な発見

• DSOコーパスにおける多義語の強い語に対して、意思決定リストは0.70の精度を達成しており、これはこのようなシステムの現在の最先端の限界である可能性を示唆している。
• SemCorは基本的な意味解析に十分なデータを提供し、一般のテキストでは0.68の精度を達成しているが、語や品詞によって性能のばらつきが顕著に現れる。
• SemCorとDSO間のコーパストレーニングは期待に反して結果が悪く、意味タグ付けの不整合性により、独立して構築された手動タグ付きコーパス同士は互いに有用ではないことが示された。
• 自動的に取得されたWebデータは性能向上に寄与せず、結果としてほぼ無意味な品質であることが判明した。これは、取得例のノイズが多く、信頼性が低いことが原因と考えられる。
• WordNetから導出された粗めの意味区分を用いることで、意思決定リストは80％の精度に到達でき、意味の粒度を粗くすることで、システムの頑健性と性能が向上することが示唆された。
• DSOの学習曲線から、細分化されたWordNetの意味に限定して手動でタグ付けされたデータで訓練されたシステムでは、上限に達していることが示唆され、さらにデータを増やしても利益は減少する。