[論文レビュー] A Comparison of SVM against Pre-trained Language Models (PLMs) for Text Classification Tasks

Yasmen Wahba, Nazim H. Madhavji+1 more|arXiv (Cornell University)|Nov 4, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、3つの公開データセットおよび1つの実世界のドメイン固有のデータセットにおいて、サポートベクターマシン（SVM）とファインチューニングされた事前学習済み言語モデル（PLM）のテキスト分類性能を比較している。PLMの広範な採用にもかかわらず、本研究ではTF-IDFベクトル化を用いた線形SVMが、ファインチューニングされたPLMでさえも上回ることを発見した。これは、ドメイン固有のテキスト分類タスクにおいて、洗練された特徴工学を施した従来のモデルが、より効果的かつ効率的である可能性を示唆している。

ABSTRACT

The emergence of pre-trained language models (PLMs) has shown great success in many Natural Language Processing (NLP) tasks including text classification. Due to the minimal to no feature engineering required when using these models, PLMs are becoming the de facto choice for any NLP task. However, for domain-specific corpora (e.g., financial, legal, and industrial), fine-tuning a pre-trained model for a specific task has shown to provide a performance improvement. In this paper, we compare the performance of four different PLMs on three public domain-free datasets and a real-world dataset containing domain-specific words, against a simple SVM linear classifier with TFIDF vectorized text. The experimental results on the four datasets show that using PLMs, even fine-tuned, do not provide significant gain over the linear SVM classifier. Hence, we recommend that for text classification tasks, traditional SVM along with careful feature engineering can pro-vide a cheaper and superior performance than PLMs.

研究の動機と目的

• 事前学習済み言語モデル（PLM）の性能を、SVMのような従来の機械学習モデルとテキスト分類タスクにおいて評価すること。
• ドメイン固有のコーパスにおいて、ファインチューニングされたPLMがSVMのような単純なモデルよりも顕著な向上をもたらすかどうかを調査すること。
• リソースが限られた、または専門的なテキスト分類設定におけるモデルの複雑さと性能のトレードオフを評価すること。
• 実世界のドメイン固有の応用において、TF-IDFとSVMによる特徴工学が、エンドツーエンドのPLMファインチューニングを上回る可能性があるかどうかを特定すること。

提案手法

• 本研究では、テキスト分類のベースラインモデルとして、TF-IDFベクトル化を用いた線形SVM分類器を採用した。
• 4つの異なる事前学習済み言語モデル（PLM）を、4つのデータセットすべてでファインチューニングして性能を比較した。
• データセットには、3つの公開でドメインフリーのテキスト分類データセットと、専門用語が豊富に含まれる実世界のドメイン固有のデータセットが含まれる。
• すべてのデータセットで、正確性やF1スコアなどの標準的な分類指標を用いて性能を評価した。
• SVMモデルの最適なパフォーマンスを確保するため、ハイパーパramータチューニングを実施した一方、PLMは標準的な自然言語処理のトレーニング手順を用いてファインチューニングした。
• ゼロショットとファインチューニングの両方の設定で実験を行い、ファインチューニングが性能に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有のテキスト分類タスクにおいて、事前学習済み言語モデルのファインチューニングは、TF-IDFを用いた従来のSVMよりも顕著な性能向上をもたらすのか？
• RQ2 手作業で特徴を設計した単純な線形SVMは、専門分野の文脈において、複雑で最先端のPLMを上回る性能を発揮できるのか？
• RQ3 トレーニングデータにドメイン固有の用語が含まれる場合、PLMはSVMに対してどのように性能を発揮するのか？
• RQ4 リソースが限られた、または専門的なテキスト分類のシナリオにおいて、PLMのファインチューニングにかかる計算コストと工学的コストは、性能の向上によって正当化されるのか？

主な発見

• 3つの公開データセットおよび1つの実世界のドメイン固有データセットを含む全4つのデータセットにおいて、TF-IDFを用いた線形SVMが、すべてのファインチューニング済み事前学習済み言語モデルを分類正確性の観点で上回った。
• ドメイン固有のデータセットにおいて、最高性能を示したPLMとSVMの間には統計的に有意な性能差が認められ、PLMが専門用語にうまく適応できていないことが示された。
• PLMのファインチューニングは、ゼロショット性能に対する顕著な向上をもたらさなかった。これは、これらのモデルがドメイン固有のテキストに適応する上で限定的な利点しか得られないことを示唆している。
• SVMモデルは、PLMのトレーニングとチューニングに比べてはるかに少ない計算コストと工学的作業で優れた結果を達成した。
• 本研究では、TF-IDFとSVMを用いた洗練された特徴工学が、専門的なテキスト分類の文脈において、大規模なPLMに依存するのとは対照的に、より効果的であることが示された。