[论文解读] A comparison of SVM and RVM for Document Classification

Muhammad Rafi, M. Shahid Shaikh|arXiv (Cornell University)|Jan 13, 2013

Text and Document Classification Technologies参考文献 9被引用 14

一句话总结

本文使用三个标准数据集比较了支持向量机（SVM）与相关向量机（RVM）在文本文档分类中的表现。尽管RVM训练时间更长，但其通过贝叶斯推断生成更紧凑、更稀疏的模型，使用更少的基函数，从而在分类准确率上显著优于SVM。

ABSTRACT

Document classification is a task of assigning a new unclassified document to one of the predefined set of classes. The content based document classification uses the content of the document with some weighting criteria to assign it to one of the predefined classes. It is a major task in library science, electronic document management systems and information sciences. This paper investigates document classification by using two different classification techniques (1) Support Vector Machine (SVM) and (2) Relevance Vector Machine (RVM). SVM is a supervised machine learning technique that can be used for classification task. In its basic form, SVM represents the instances of the data into space and tries to separate the distinct classes by a maximum possible wide gap (hyper plane) that separates the classes. On the other hand RVM uses probabilistic measure to define this separation space. RVM uses Bayesian inference to obtain succinct solution, thus RVM uses significantly fewer basis functions. Experimental studies on three standard text classification datasets reveal that although RVM takes more training time, its classification is much better as compared to SVM.

研究动机与目标

• 评估并比较SVM与RVM在文本文档分类任务中的性能。
• 评估大规模文本分类中训练时间与分类准确率之间的权衡。
• 研究模型稀疏性与贝叶斯推断对分类性能的影响。
• 确定RVM减少基函数使用是否能提升文档分类中的泛化能力。

提出的方法

• 本研究采用支持向量机（SVM），一种基于核函数的监督学习方法，通过最大间隔超平面分离各类别。
• 采用相关向量机（RVM）结合贝叶斯推断，获得比SVM使用更少基函数的稀疏解。
• 使用标准技术（如TF-IDF）提取并加权文本特征，将文档表示为向量空间中的向量。
• 在三个基准文本分类数据集上进行实验，以确保可复现性与泛化能力。
• 使用准确率、精确率和召回率等标准指标评估分类性能。
• 测量并比较两种模型的训练时间与模型复杂度（支持向量/相关向量数量）。

实验结果

研究问题

• RQ1 在标准文本数据集上，RVM与SVM在分类准确率方面有何差异？
• RQ2 使用RVM与SVM时，训练时间与性能之间的权衡如何？
• RQ3 RVM中的稀疏表示是否能带来文档分类中更好的泛化性能？
• RQ4 与SVM的间隔最大化方法相比，RVM中的贝叶斯推断在多大程度上提升了模型性能？

主要发现

• 在所有三个标准文本分类数据集上，RVM的分类准确率均显著高于SVM。
• 尽管训练时间更长，RVM通过使用比SVM更少的基函数，生成了更稀疏的模型。
• RVM的贝叶斯框架带来了更好的泛化能力，即使在模型复杂度降低的情况下仍能提升性能。
• RVM在精确率和召回率等多个评估指标上对SVM的性能提升保持一致。
• 研究结果证实，RVM的概率化方法在文本分类任务中可产生更稳健、更准确的分类结果。