[论文解读] A Comparison of SVM against Pre-trained Language Models (PLMs) for Text Classification Tasks

Yasmen Wahba, Nazim H. Madhavji+1 more|arXiv (Cornell University)|Nov 4, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文在三个公开数据集和一个真实世界领域特定数据集上，对比了支持向量机（SVMs）与微调过的预训练语言模型（PLMs）在文本分类任务中的表现。尽管预训练语言模型广泛应用，本研究发现，使用TF-IDF向量化的一维SVM在性能上仍优于微调过的PLMs，表明在特定领域文本分类任务中，经过精心设计的特征工程的传统模型可能更具有效性和高效性。

ABSTRACT

The emergence of pre-trained language models (PLMs) has shown great success in many Natural Language Processing (NLP) tasks including text classification. Due to the minimal to no feature engineering required when using these models, PLMs are becoming the de facto choice for any NLP task. However, for domain-specific corpora (e.g., financial, legal, and industrial), fine-tuning a pre-trained model for a specific task has shown to provide a performance improvement. In this paper, we compare the performance of four different PLMs on three public domain-free datasets and a real-world dataset containing domain-specific words, against a simple SVM linear classifier with TFIDF vectorized text. The experimental results on the four datasets show that using PLMs, even fine-tuned, do not provide significant gain over the linear SVM classifier. Hence, we recommend that for text classification tasks, traditional SVM along with careful feature engineering can pro-vide a cheaper and superior performance than PLMs.

研究动机与目标

• 评估预训练语言模型（PLMs）与SVM等传统机器学习模型在文本分类任务中的性能表现。
• 探究在特定领域语料上，微调PLMs是否能为SVM等简单模型带来显著性能提升。
• 评估在低资源或专业领域文本分类场景下，模型复杂度与性能之间的权衡。
• 确定在真实世界特定领域应用中，使用TF-IDF与SVM进行特征工程是否能优于端到端的PLM微调。

提出的方法

• 本研究采用线性SVM分类器结合TF-IDF向量化作为文本分类的基线模型。
• 在四个数据集上分别对四种不同的预训练语言模型（PLMs）进行微调，以比较其性能表现。
• 数据集包括三个公开的、无领域限制的文本分类数据集，以及一个富含专业术语的真实世界领域特定数据集。
• 通过准确率和F1分数等标准分类指标对性能进行评估，覆盖所有数据集。
• 对SVM模型进行超参数调优以确保达到最佳性能，而PLMs则采用标准自然语言处理训练流程进行微调。
• 实验同时包含零样本（zero-shot）和微调后的PLM设置，以评估微调对性能的影响。

实验结果

研究问题

• RQ1 在特定领域文本分类任务中，微调预训练语言模型是否能为性能带来显著提升，相比使用TF-IDF的SVM？
• RQ2 在专业领域中，使用手工特征的简单线性SVM是否能超越复杂且先进的PLMs？
• RQ3 当训练数据包含特定领域术语时，PLMs相对于SVM的表现如何？
• RQ4 在低资源或专业领域文本分类场景中，微调PLMs所带来的计算与工程成本是否被性能提升所合理化？

主要发现

• 在所有四个数据集上，包括真实世界领域特定数据集，使用TF-IDF的线性SVM在分类准确率方面均优于所有微调过的预训练语言模型。
• 在领域特定数据集上，表现最佳的PLM与SVM之间的性能差距具有统计显著性，表明PLMs未能有效适应专业术语。
• 微调PLMs并未带来相对于其零样本性能的显著提升，表明将这些模型适配到特定领域文本中的收益有限。
• SVM模型以显著更低的计算成本和工程投入实现了更优的性能，相比PLMs的训练与调优过程。
• 本研究证明，在专业领域文本分类场景中，通过TF-IDF与SVM进行精心设计的特征工程，可能比依赖大型PLMs更为有效。