[論文レビュー] A Corpus-Based Approach for Building Semantic Lexicons

Ellen Riloff, Jessica Shepherd|ArXiv.org|Jun 10, 1997

Natural Language Processing Techniques参考文献 11被引用数 161

ひとこと要約

本稿では、代表的なテキストコーパスと少数のシード語のみを用いて、ドメイン固有の意味的語彙を自動的に構築するコーパスベースで、ブートストラップ方式の手法を提示する。シード名詞の周辺に狭いコンテキスト窓を設定し、共起確率の条件付き確率に基づいて語をランク付けすることで、候補となるカテゴリーメンバーの順序付きリストを生成する。これにより、代表的なカテゴリに対して、10–15分の作業で高い効率と正確性でコアな意味的語彙を構築できる。

ABSTRACT

Semantic knowledge can be a great asset to natural language processing systems, but it is usually hand-coded for each application. Although some semantic information is available in general-purpose knowledge bases such as WordNet and Cyc, many applications require domain-specific lexicons that represent words and categories for a particular topic. In this paper, we present a corpus-based method that can be used to build semantic lexicons for specific categories. The input to the system is a small set of seed words for a category and a representative text corpus. The output is a ranked list of words that are associated with the category. A user then reviews the top-ranked words and decides which ones should be entered in the semantic lexicon. In experiments with five categories, users typically found about 60 words per category in 10-15 minutes to build a core semantic lexicon.

研究の動機と目的

• ドメイン固有の自然言語処理アプリケーションにおける意味的語彙を手作業で構築する課題に対処すること。
• コーパスベースの統計的手法を活用することで、正確でドメイン固有の意味的語彙を構築するために必要な時間と労力を削減すること。
• 初期段階での意味的知識が少なくても、数個のシード語のみを必要とするスケーラブルで準自動化されたアプローチを開発すること。
• 実世界のテキストコーパスを用いて、多様な意味的カテゴリにおいてこの手法の有効性を評価すること。
• シード語の選定とコーパスの代表性の程度が、この手法に与える影響を調査すること。

提案手法

• システムは、通常5語程度の小さなシード語のセットを、テキストコーパス内の頭部名詞として用い、それぞれの周囲に2語ずつのコンテキスト窓を特定する。
• これらのコンテキスト窓から名詞語のみを抽出し、カテゴリーメンバーが主に名詞であると仮定する。
• 各語について、カテゴリコンテキスト窓内での頻度をコーパス全体の頻度で割った比として、カテゴリースコアを計算する。これは条件付き確率の近似である。
• アルゴリズムはブートストラップ機構を採用し、複数回のコーパス反復処理において、スコアに基づいて候補語のリストを段階的に改善する。
• 人間のレビュアーが、リストから上位ランクの語を選択することでコアな意味的語彙を構築し、人的作業を最小限に抑える。
• この手法は、品詞タギングと共起統計にのみ依存し、外部の意味的知識ベースを必要としない。

実験結果

リサーチクエスチョン

• RQ1 事前の意味的知識がなくても、コーパスベースの統計的手法がドメイン関連語を効果的に同定できるか？
• RQ2 最小限の人的入力で、正確な意味的語彙を構築するこの手法の有効性はいかがなものか？
• RQ3 システムのパフォーマンスが初期のシード語の選定にどれほど敏感であるか？
• RQ4 コーパスの代表性が、得られる語彙の質にどのような影響を与えるか？
• RQ5 多様な意味的カテゴリにわたり、この手法がカテゴリーメンバーと非メンバーを信頼性高く区別できるか？

主な発見

• ユーザーは、10–15分の人的レビューで、1カテゴリあたり約60語のコア意味的語彙を構築できた。
• 軍事、車両、武器といったカテゴリでは、カテゴリーメンバーが頻繁にリスト、同格補語、複合語として共起していたため、優れた結果が得られた。
• エネルギーおよび商業カテゴリでは、MUC-4コーパス内での表現が低かったため、性能がやや劣った。これはコーパスの代表性の重要性を浮き彫りにした。
• 人物カテゴリでは、多くの非人物語（例：組織、行動）が上位ランクに現れたため、結果は混合的であり、意味的境界の定義に課題があることが示された。
• 5語程度のシード語でさえも、システムは安定して動作したが、シード語数の増加はその点以降、利益の逓減効果を示した。
• 2語ずつの狭いコンテキスト窓（各側2語）が、より一貫性と関連性の面で、より大きな窓を上回ることを示した。