[論文レビュー] Probabilistic Event Categorization

Janyce Wiebe, Rebecca Bruce+1 more|arXiv (Cornell University)|Oct 30, 1997

Natural Language Processing Techniques参考文献 29被引用数 7

ひとこと要約

本論文は、特徴工学的手法を用いて、言語的に複雑なイベントの分類を自動化する確率的イベント分類システムを紹介する。共起的および文脈的特徴の組織化方法をさまざまな方法で評価し、すべての特性タイプに最適な単一の組織化方法は存在しないことが判明した。また、分類精度を向上させるために、頻度が低くても強く示唆的な特徴を活用する手法を示している。

ABSTRACT

This paper describes the automation of a new text categorization task. The categories assigned in this task are more syntactically, semantically, and contextually complex than those typically assigned by fully automatic systems that process unseen test data. Our system for assigning these categories is a probabilistic classifier, developed with a recent method for formulating a probabilistic model from a predefined set of potential features. This paper focuses on feature selection. It presents a number of fully automatic features. It identifies and evaluates various approaches to organizing collocational properties into features, and presents the results of experiments covarying type of organization and type of property. We find that one organization is not best for all kinds of properties, so this is an experimental parameter worth investigating in NLP systems. In addition, the results suggest a way to take advantage of properties that are low frequency but strongly indicative of a class. The problems of recognizing and organizing the various kinds of contextual information required to perform a linguistically complex categorization task have rarely been systematically investigated in NLP.

研究の動機と目的

• 通常のテキスト分類タスクを超えた、言語的に複雑なイベントの分類を自動化すること。
• 共起的および文脈的特徴の組織化方法の違いが、分類性能に与える影響を調査すること。
• 頻度が低くても、イベントのカテゴリを強く示唆する言語的特性をモデルに効果的に統合する戦略を特定すること。
• 特徴組織化がNLPにおける確率的イベント分類に与える影響を体系的に評価すること。

提案手法

• システムは、事前に定義された潜在的特徴の集合から確率的モデルを構築する手法を用いて訓練された確率的分類器を採用している。
• 特徴は、イベント記述の句構造的、意味的、共起的性質から導出される。
• n-gram、意味フレーム、文法的パターンなどの、共起的性質の組織化方法を、特徴表現として評価している。
• モデルは訓練データから特徴重みを最大尤度推定法で学習し、確率的分類を可能としている。
• 実験では、特徴組織化の種別と特性タイプを変化させ、分類精度に与える影響を評価している。
• 特定のイベントカテゴリを強く示唆する頻度が低い特徴を適切に統合することで、モデル性能を向上させる戦略が提案されている。

実験結果

リサーチクエスチョン

• RQ1 共起的性質の組織化方法のうち、複雑なイベント分類の分類精度が最も高くなるのはどれか？
• RQ2 特徴組織化戦略の有効性は、表現される言語的特性の種別によって変化するか？
• RQ3 イベントカテゴリを強く示唆するが頻度が低い特徴を、確率的分類モデルに効果的に統合できるか？
• RQ4 文法的、意味的、文脈的特徴が、どのようにして正確なイベント分類に寄与するか？

主な発見

• どの言語的特性タイプに対しても普遍的に最適な特徴組織化手法は存在せず、これはNLPシステムにおける重要な実験的パrameterであることを示している。
• 動詞＋名詞のペアや文法的フレームなどの、異なる種類の共起的性質は、それぞれ異なる組織化戦略によって恩恵を受けることが示され、文脈に応じた特徴工学の重要性が示唆された。
• イベントカテゴリを強く示唆するが頻度が低い特徴は、適切に統合されれば、モデル性能を顕著に向上させることができる。
• 結果から、特徴選択と特徴組織化が、イベント分類タスクにおける文法的・意味的・文脈的複雑性に対処するために不可欠であることが明らかになった。