[论文解读] An Effective Approach for Web Document Classification using the Concept of Association Analysis of Data Mining

Rajendra Kumar Roul, Sanjay K. Sahay|arXiv (Cornell University)|Jun 21, 2014

Text and Document Classification Technologies参考文献 8被引用 10

一句话总结

本文提出了一种基于FP-Growth算法进行频繁项集挖掘以提取关联词模式作为特征的网页文档分类方法，并使用朴素贝叶斯分类器进行分类。该方法借助Gensim自然语言处理工具包实现了有效的分类性能，展示了关联分析在提升网页文档分类准确率方面的实用性。

ABSTRACT

Exponential growth of the web increased the importance of web document classification and data mining. To get the exact information, in the form of knowing what classes a web document belongs to, is expensive. Automatic classification of web document is of great use to search engines which provides this information at a low cost. In this paper, we propose an approach for classifying the web document using the frequent item word sets generated by the Frequent Pattern (FP) Growth which is an association analysis technique of data mining. These set of associated words act as feature set. The final classification obtained after Naïve Bayes classifier used on the feature set. For the experimental work, we use Gensim package, as it is simple and robust. Results show that our approach can be effectively classifying the web document.

研究动机与目标

• 为应对网络内容指数级增长背景下人工网页文档分类成本过高的挑战。
• 探索数据挖掘中的关联分析在识别网页文档中语义性词模式方面的应用。
• 开发一种基于频繁词集作为特征的自动化、低成本分类流程。
• 评估将FP-Growth与朴素贝叶斯结合用于文档分类的有效性。
• 展示使用Gensim实现和测试所提出的分类方法的可行性。

提出的方法

• 应用FP-Growth算法于网页文档，以发现词语的频繁项集，代表文本中的关联模式。
• 将这些频繁词集提取为每篇文档的主要特征表示。
• 在生成的特征集上训练并应用朴素贝叶斯分类器，以分配文档类别。
• 由于其简洁性和鲁棒性，使用Gensim自然语言处理工具包进行文本预处理、特征提取和分类。
• 该方法依赖于文档的事务型表示，即将每篇文档视为一组词语，用于关联规则挖掘。
• 该方法避免了传统词袋模型，通过关联分析强调共现词模式。

实验结果

研究问题

• RQ1 通过FP-Growth进行频繁项集挖掘能否有效从网页文档中提取用于分类的有意义特征集？
• RQ2 当使用FP-Growth生成的特征与传统特征进行比较时，朴素贝叶斯分类器的性能表现如何？
• RQ3 关联分析在多大程度上能够提升网页文档分类的准确率和效率？
• RQ4 Gensim工具包是否适合实现和评估此类混合分类流程？
• RQ5 将FP-Growth等数据挖掘技术整合是否能够增强文本分类任务中的特征表示？

主要发现

• 所提出的方法能有效利用FP-Growth提取的频繁词集作为特征，对网页文档进行分类。
• 关联分析的使用使得能够识别出语义相关的词模式，从而提升分类性能。
• 当应用于FP-Growth生成的特征集时，朴素贝叶斯分类器能够实现可靠的分类结果。
• Gensim工具包被证明是实现该分类流程的稳健且实用的工具。
• 该方法展示了一种低成本、自动化的网页文档分类解决方案，结果令人鼓舞。
• 本研究证实，关联分析可作为传统特征提取在文本分类中的有价值的替代方案。