[논문 리뷰] A Comparison of SVM against Pre-trained Language Models (PLMs) for Text Classification Tasks

Yasmen Wahba, Nazim H. Madhavji외 1명|arXiv (Cornell University)|2022. 11. 04.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 세 개의 공개 및 하나의 실세계 영역 특화 데이터셋에서 텍스트 분류 작업에 대해 서포트 벡터 머신(SVMs)과 미세조정된 사전 훈련된 언어 모델(PLMs)을 비교한다. PLMs의 광범위한 채택에도 불구하고, 이 연구는 TF-IDF 벡터화를 사용한 선형 SVM가 미세조정된 PLMs를 능가하는 것으로 발견하여, 전통적인 모델에 철저한 특징 공학을 적용할 경우 영역 특화 텍스트 분류 작업에서 더 효과적이고 효율적일 수 있음을 시사한다.

ABSTRACT

The emergence of pre-trained language models (PLMs) has shown great success in many Natural Language Processing (NLP) tasks including text classification. Due to the minimal to no feature engineering required when using these models, PLMs are becoming the de facto choice for any NLP task. However, for domain-specific corpora (e.g., financial, legal, and industrial), fine-tuning a pre-trained model for a specific task has shown to provide a performance improvement. In this paper, we compare the performance of four different PLMs on three public domain-free datasets and a real-world dataset containing domain-specific words, against a simple SVM linear classifier with TFIDF vectorized text. The experimental results on the four datasets show that using PLMs, even fine-tuned, do not provide significant gain over the linear SVM classifier. Hence, we recommend that for text classification tasks, traditional SVM along with careful feature engineering can pro-vide a cheaper and superior performance than PLMs.

연구 동기 및 목표

• 사전 훈련된 언어 모델(PLMs)의 성능을 텍스트 분류 작업에서 전통적인 기계 학습 모델인 SVM과 비교 평가하는 것.
• 영역 특화 코퍼스에서 SVM과 같은 단순한 모델 대비 PLMs의 미세조정이 유의미한 성능 향상을 가져오는지 조사하는 것.
• 저자원 또는 전문화된 텍스트 분류 환경에서 모델 복잡도와 성능 간의 상호 교환 관계를 평가하는 것.
• 실세계 영역 특화 응용 프로그램에서 TF-IDF와 SVM을 사용한 특징 공학이 종단 간 PLM 미세조정보다 우수한 성능을 낼 수 있는지 판단하는 것.

제안 방법

• 텍스트 분류의 기준 모델로 선형 SVM 분류기와 TF-IDF 벡터화를 사용한다.
• 네 가지 다른 사전 훈련된 언어 모델(PLMs)을 네 개의 데이터셋 각각에 대해 미세조정하여 성능을 비교한다.
• 데이터셋에는 세 개의 공개적 영역 무관 텍스트 분류 데이터셋과 전문 용어가 풍부한 실세계 영역 특화 데이터셋이 포함되어 있다.
• 모든 데이터셋에서 정확도 및 F1 점수와 같은 표준 분류 지표를 사용해 성능을 평가한다.
• SVM 모델의 최적 성능을 확보하기 위해 하이퍼파rameter 튜닝을 적용하며, PLMs는 표준 자연어 처리 훈련 절차를 사용해 미세조정한다.
• 성능에 대한 미세조정의 영향을 평가하기 위해 제로샷 및 미세조정된 PLM 설정을 모두 사용해 실험을 수행한다.

실험 결과

연구 질문

• RQ1 영역 특화 텍스트 분류 작업에서 사전 훈련된 언어 모델의 미세조정이 TF-IDF를 사용한 전통적인 SVM보다 유의미한 성능 향상을 가져오는가?
• RQ2 수작업 특징을 사용한 단순한 선형 SVM가 전문 분야에서 복잡한 최신 기술 PLMs를 능가할 수 있는가?
• RQ3 학습 데이터에 영역 특화 용어가 포함되어 있을 경우, PLMs는 SVM에 비해 어떻게 성능을 내는가?
• RQ4 저자원 또는 전문 텍스트 분류 환경에서 PLMs의 미세조정에 따른 계산 비용과 엔지니어링 노력이 성능 향상으로 인해 정당화되는가?

주요 결과

• 모든 네 개의 데이터셋, 실세계 영역 특화 데이터셋 포함, 선형 SVM와 TF-IDF가 모든 미세조정된 사전 훈련된 언어 모델보다 분류 정확도에서 뛰어났다.
• 영역 특화 데이터셋에서 가장 우수한 PLM과 SVM 사이의 성능 격차는 통계적으로 유의미했으며, 이는 PLMs가 전문 용어에 잘 적응하지 못했음을 시사한다.
• PLMs의 미세조정이 제로샷 성능 향상에 큰 기여를 하지 않아, 이러한 모델을 영역 특화 텍스트에 적응시키는 데에 한계가 있음을 시사한다.
• SVM 모델은 PLMs를 훈련하고 튜닝하는 것보다 훨씬 적은 계산 비용과 엔지니어링 노력으로도 뛰어난 성능을 달성했다.
• 이 연구는 전문 텍스트 분류 맥락에서 철저한 TF-IDF 특징 공학과 SVM 조합이 큰 PLMs에 의존하는 것보다 더 효과적일 수 있음을 입증한다.