[论文解读] Mistake-Driven Learning in Text Categorization

Ido Dagan, Yael Karov+1 more|ArXiv.org|Jun 9, 1997

Text and Document Classification Technologies参考文献 20被引用 144

一句话总结

本文提出 BalancedWinnow$^+$，一种基于 Winnow 家族的误分类驱动学习算法，专为处理高维、稀疏且长度可变的文本特征而优化，用于文本分类。通过引入阈值范围、特征频率归一化（平方根）以及动态特征剔除机制，其在 Reuters 语料库上实现了 74.6% 的平衡点，显著优于先前使用单字特征的方法。

ABSTRACT

Learning problems in the text processing domain often map the text to a space whose dimensions are the measured features of the text, e.g., its words. Three characteristic properties of this domain are (a) very high dimensionality, (b) both the learned concepts and the instances reside very sparsely in the feature space, and (c) a high variation in the number of active features in an instance. In this work we study three mistake-driven learning algorithms for a typical task of this nature -- text categorization. We argue that these algorithms -- which categorize documents by learning a linear separator in the feature space -- have a few properties that make them ideal for this domain. We then show that a quantum leap in performance is achieved when we further modify the algorithms to better address some of the specific characteristics of the domain. In particular, we demonstrate (1) how variation in document length can be tolerated by either normalizing feature weights or by using negative weights, (2) the positive effect of applying a threshold range in training, (3) alternatives in considering feature frequency, and (4) the benefits of discarding features while training. Overall, we present an algorithm, a variation of Littlestone's Winnow, which performs significantly better than any other algorithm tested on this task using a similar feature set.

研究动机与目标

• 提升误分类驱动学习算法在高维、稀疏文本分类任务中的性能。
• 应对文本数据中可变文档长度和高特征稀疏性带来的挑战。
• 探究权重更新规则与特征处理方式的改进如何提升文本分类中的泛化能力。
• 证明通过领域特定调优，乘法权重算法如 Winnow 可实现显著改进。
• 建立仅使用单字特征的文本分类新最先进基线。

提出的方法

• 采用基于 Winnow 算法的误分类驱动学习框架，通过误分类时的乘法权重更新机制进行学习。
• 在训练过程中引入阈值范围，以提升决策边界的稳定性和泛化能力。
• 对特征频率应用平方根变换，以降低高频但信息量低的词汇的影响。
• 在训练过程中实施动态特征剔除，以消除无关或噪声特征。
• 使用负权重以更好地处理长文档，并减少特征数量差异带来的偏差。
• 采用 Winnow 的平衡变体，以在正负类别间保持权重更新的对称性。

实验结果

研究问题

• RQ1 阈值范围与特征频率归一化在高维文本分类中的性能影响如何？
• RQ2 在文本分类中，动态特征剔除在多大程度上提升了学习效率与准确性？
• RQ3 通过针对文本数据的领域特定改进，误分类算法如 Winnow 是否能实现显著增强？
• RQ4 与仅使用正权重更新相比，使用负权重在处理可变长度文档时表现如何？
• RQ5 经过调优的 Winnow 变体在标准文本分类基准上，相对于 Rocchio、神经网络和 Ripper 等成熟基线方法的性能如何？

主要发现

• BalancedWinnow$^+$ 在 Reuters 语料库的 Lewis 划分上，仅使用单字特征即实现了 74.6% 的平衡点，优于所有使用相同特征集的其他算法。
• 在 Apte 划分上，BalancedWinnow$^+$ 达到 83.3%，显著优于次佳方法（75.9%），且后者使用了更丰富的特征集。
• 训练过程中使用阈值范围可显著提升决策边界的泛化能力与稳定性。
• 对特征频率应用平方根变换可有效降低高频但区分度较低的术语的影响。
• 在训练过程中实施动态特征剔除可通过消除噪声与无关特征来提升性能，且无需事先进行特征选择。
• 通过归一化或使用负权重，该算法在文档长度变化下表现出强鲁棒性，提升了可扩展性与准确性。