[论文解读] Probabilistic Event Categorization

Janyce Wiebe, Rebecca Bruce+1 more|arXiv (Cornell University)|Oct 30, 1997

Natural Language Processing Techniques参考文献 29被引用 7

一句话总结

本文提出了一种概率事件分类系统，通过特征工程方法自动化分类语言上复杂的事件。该研究评估了组织搭配特征和上下文特征的各种方法，发现没有一种组织方式在所有属性类型上都是最优的，并展示了如何利用低频但高度指示性的特征来提高分类准确性。

ABSTRACT

This paper describes the automation of a new text categorization task. The categories assigned in this task are more syntactically, semantically, and contextually complex than those typically assigned by fully automatic systems that process unseen test data. Our system for assigning these categories is a probabilistic classifier, developed with a recent method for formulating a probabilistic model from a predefined set of potential features. This paper focuses on feature selection. It presents a number of fully automatic features. It identifies and evaluates various approaches to organizing collocational properties into features, and presents the results of experiments covarying type of organization and type of property. We find that one organization is not best for all kinds of properties, so this is an experimental parameter worth investigating in NLP systems. In addition, the results suggest a way to take advantage of properties that are low frequency but strongly indicative of a class. The problems of recognizing and organizing the various kinds of contextual information required to perform a linguistically complex categorization task have rarely been systematically investigated in NLP.

研究动机与目标

• 自动化分类语言上复杂的事件，超越典型的文本分类任务。
• 研究不同组织搭配特征和上下文特征的方式对分类性能的影响。
• 识别将低频但高度指示性的语言属性有效整合到模型中的策略。
• 系统评估特征组织对NLP中概率事件分类的影响。

提出的方法

• 该系统采用概率分类器，通过将预定义的一组潜在特征形式化为概率模型进行训练。
• 特征源自事件描述的句法、语义和搭配属性。
• 评估了多种搭配属性的组织方式（如n-gram、语义框架和句法模式）作为特征表示。
• 模型使用最大似然估计从训练数据中学习特征权重，以实现概率分类。
• 实验通过改变特征组织类型和属性类型，评估其对分类准确率的影响。
• 提出一种策略，通过整合对特定事件类别具有强指示性的低频特征来提升模型性能。

实验结果

研究问题

• RQ1 哪种搭配属性组织方法能为复杂事件分类带来最高的分类准确率？
• RQ2 特征组织策略的有效性是否因所表示的语言属性类型而异？
• RQ3 能否有效整合对事件类别具有高度指示性的低频特征？
• RQ4 句法、语义和上下文特征如何共同促进准确的事件分类？

主要发现

• 没有一种特征组织方法在所有语言属性类型上都是普遍最优的，表明这是NLP系统中一个关键的实验参数。
• 不同类型的搭配属性（如动词-名词对、句法框架）受益于不同的组织策略，表明需要上下文敏感的特征工程。
• 当适当地整合时，对事件类别具有高度指示性的低频特征可显著提升模型性能。
• 结果表明，特征选择和组织对于处理事件分类任务中的句法、语义和上下文复杂性至关重要。