[论文解读] Hierarchical Web Page Classification Based on a Topic Model and Neighboring Pages Integration

Wongkot Sriurai, Phayung Meesad+1 more|arXiv (Cornell University)|Mar 7, 2010

Web Data Mining and Analysis参考文献 17被引用 10

一句话总结

该论文提出了一种分层网页分类方法，通过主题模型（LDA）增强特征表示，并整合邻近网页的语义特征。通过结合主题建模与邻近网页特征，并应用基于混淆矩阵训练的分层SVM，该方法实现了90.33%的准确率和90.14%的F1值——分别较标准SVM提升了5.12%和5.13%。

ABSTRACT

Most Web page classification models typically apply the bag of words (BOW) model to represent the feature space. The original BOW representation, however, is unable to recognize semantic relationships between terms. One possible solution is to apply the topic model approach based on the Latent Dirichlet Allocation algorithm to cluster the term features into a set of latent topics. Terms assigned into the same topic are semantically related. In this paper, we propose a novel hierarchical classification method based on a topic model and by integrating additional term features from neighboring pages. Our hierarchical classification method consists of two phases: (1) feature representation by using a topic model and integrating neighboring pages, and (2) hierarchical Support Vector Machines (SVM) classification model constructed from a confusion matrix. From the experimental results, the approach of using the proposed hierarchical SVM model by integrating current page with neighboring pages via the topic model yielded the best performance with the accuracy equal to 90.33% and the F1 measure of 90.14%; an improvement of 5.12% and 5.13% over the original SVM model, respectively.

研究动机与目标

• 为解决传统词袋模型在网页分类中难以捕捉词项之间语义关系的局限性。
• 通过整合邻近网页的上下文特征，提升分类性能。
• 开发一种分层分类框架，利用主题建模与基于混淆矩阵的SVM训练。
• 评估结合主题建模与邻近网页特征对分类准确率与F1值的影响。

提出的方法

• 采用潜在狄利克雷分配（LDA）将原始文本转换为一组潜在主题，实现词项的语义分组。
• 整合邻近网页的词项特征，以丰富当前网页的特征表示。
• 利用混淆矩阵构建分层支持向量机（SVM）模型，以指导分类层次结构。
• 采用两阶段方法：(1) 基于主题的特征表示并整合邻近网页信息，(2) 分层SVM分类。
• 利用混淆矩阵优化SVM的分层结构，提升类别之间的决策边界。

实验结果

研究问题

• RQ1 整合邻近网页特征是否能提升网页分类任务中的语义表示？
• RQ2 结合主题建模与邻近网页信息对分类准确率与F1值有何影响？
• RQ3 基于混淆矩阵训练的分层SVM模型是否优于标准SVM在网页分类中的表现？
• RQ4 主题建模在多大程度上缓解了传统词袋模型在网页分类中的局限性？

主要发现

• 所提方法实现了90.33%的分类准确率，较基线SVM模型提升了5.12%。
• F1值达到90.14%，较原始SVM方法提升了5.13%。
• 邻近网页特征的整合显著增强了模型捕捉上下文与语义关系的能力。
• 主题建模有效将语义相关的词项分组，使特征表示超越传统词袋方法。
• 基于混淆矩阵训练的分层SVM在多层分类中展现出更优的泛化能力与类别区分能力。