[論文レビュー] Word Clustering and Disambiguation Based on Co-occurrence Data

Hang Li, Naoki Abe|arXiv (Cornell University)|Jul 17, 1998

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿では、共起データを用いて語のクラスタリングを行うMDLに基づくアルゴリズムを提案し、自動トランセスaurusの構築と、意味の曖昧性解消手法の統合により文法的曖昧性解消を向上させる。このアプローチは85.2%の曖昧性解消精度を達成し、最先端手法の82.4%を上回る。

ABSTRACT

We address the problem of clustering words (or constructing a thesaurus) based on co-occurrence data, and using the acquired word classes to improve the accuracy of syntactic disambiguation. We view this problem as that of estimating a joint probability distribution specifying the joint probabilities of word pairs, such as noun verb pairs. We propose an efficient algorithm based on the Minimum Description Length (MDL) principle for estimating such a probability distribution. Our method is a natural extension of those proposed in (Brown et al 92) and (Li & Abe 96), and overcomes their drawbacks while retaining their advantages. We then combined this clustering method with the disambiguation method of (Li & Abe 95) to derive a disambiguation method that makes use of both automatically constructed thesauruses and a hand-made thesaurus. The overall disambiguation accuracy achieved by our method is 85.2%, which compares favorably against the accuracy (82.4%) obtained by the state-of-the-art disambiguation method of (Brill & Resnik 94).

研究の動機と目的

• 大規模なテキストコーパスにおける語の共起データから、手動によるラベル付けを要せず自動的に語の対照表を構築する課題に対処すること。
• 自動的に導出された語のクラスを活用することで、文法的曖昧性解消の精度を向上させること。
• Brownら（1992年）、Li & Abe（1996年）の先行研究における制限を克服しつつ、それらの強みを保ち続けること。
• 自動的に学習された対照表と手作業による対照表を統合し、曖昧性解消性能を向上させること。
• 確率的モデリングを用いて、スケーラブルでデータ駆動型の語のクラスタリングおよび曖昧性解消手法を開発すること。

提案手法

• 語のペア（例：名詞-動詞ペア）の同時確率分布を推定するために、最小記述長（MDL）の原則を用いる。
• 共起パターンに基づいて語をクラスタリングする際、データとモデルの記述長を最小化するようにMDLを適用する。
• Brownら（1992年）、Li & Abe（1996年）の先行研究を拡張し、クラスタリングの効率性とロバスト性を向上させる。
• Li & Abe（1995年）の曖昧性解消モデルと、得られた語クラスタを組み合わせることで精度を向上させる。
• 曖昧性解消プロセスにおいて、自動的に構築された対照表と手作業による対照表を統合する。
• 語の共起頻度をモデル化する確率的フレームワークを採用し、クラスタリングおよび曖昧性解消を支援する。

実験結果

リサーチクエスチョン

• RQ1 手動ラベルなしで、共起データに基づく語のクラスタリングが、意味的類似性を効果的にモデル化できるか？
• RQ2 MDLに基づくクラスタリング手法は、クラスタリング品質およびスケーラビリティの観点で、先行手法と比較してどのように異なるか？
• RQ3 自動的に導出された語のクラスは、文法的曖昧性解消の精度をどの程度向上させられるか？
• RQ4 自動的および手作業による対照表を統合することで、単独で使用する場合よりも優れた曖昧性解消結果が得られるか？
• RQ5 共起に基づく語のクラスタリングを用いることで、曖昧性解消パフォーマンスにどのような定量的影響が生じるか？

主な発見

• 提案されたMDLに基づくクラスタリング手法は、手動ラベルなしで共起データから語の対照表を効果的に構築できる。
• 自動的に学習された語のクラスと曖昧性解消モデルを統合することで、精度が85.2%まで向上した。
• これは、Brill & Resnik（1994年）の最先端手法が達成した82.4%の精度を上回る。
• MDLによるモデルの複雑さとデータへの適合のバランスにより、先行手法の制限を克服した。
• 自動的および手作業による対照表の両方を活用することで、単一のソースに依存する場合よりもよりロバストな曖昧性解消が実現した。
• アルゴリズムは、共起統計を用いた語の関係モデリングにおいて、スケーラビリティと有効性を示した。