[論文レビュー] Are We Really Making Much Progress in Text Classification? A Comparative Review

Lukas Galke, Ansgar Scherp+6 more|arXiv (Cornell University)|Apr 8, 2022

Text and Document Classification Technologies被引用数 8

ひとこと要約

この論文は、Bag-of-Words、シーケンスベース、グラフベース、階層ベースの各アプローチを、事前学習済み言語モデルや広範な多層パーセプトロン（WideMLP）といった強力なベースラインと比較することで、最近のテキスト分類手法を批判的に評価している。主な発見として、多くの新しいグラフベースおよび階層ベースの手法が、単純でよくチューニングされたベースラインを上回れないことが判明し、多様な手法的革新がなされているにもかかわらず、分野全体としての実質的進歩は限定的であることが示唆された。

ABSTRACT

We analyze various methods for single-label and multi-label text classification across well-known datasets, categorizing them into bag-of-words, sequence-based, graph-based, and hierarchical approaches. Despite the surge in methods like graph-based models, encoder-only pre-trained language models, notably BERT, remain state-of-the-art. However, recent findings suggest simpler models like logistic regression and trigram-based SVMs outperform newer techniques. While decoder-only generative language models show promise in learning with limited data, they lag behind encoder-only models in performance. We emphasize the superiority of discriminative language models like BERT over generative models for supervised tasks. Additionally, we highlight the literature's lack of robustness in method comparisons, particularly concerning basic hyperparameter optimizations like learning rate in fine-tuning encoder-only language models. Data availability: The source code is available at https://github.com/drndr/multilabel-text-clf All datasets used for our experiments are publicly available except the NYT dataset.

研究の動機と目的

• 最近のテキスト分類分野における進歩、特にグラフベースおよび階層ベースの手法が意味的な進歩を表しているかどうかを評価すること。
• 事前学習済み言語モデルや広範な多層パーセプトロン（WideMLP）といった強力で確立されたベースラインと比較して、現代のテキスト分類手法の性能を評価すること。
• 現在のテキスト分類分野におけるベンチマーク手法の厳密さが、手法的主張を正当に検証できるものかどうかを同定すること。
• 今後の研究において、過大評価を避けるために、強力で最先端のベースラインを用いることの重要性を強調すること。
• 5つの単ラベルおよび7つのマルチラベルデータセットを対象とした体系的比較を実施し、新たな実証的評価を含むこと。

提案手法

• 本研究は、単ラベルおよびマルチラベルテキスト分類手法に関する包括的な文献レビューを実施し、それらをBag-of-Words、シーケンスベース、グラフベース、階層ベースの4つのファミリーに分類した。
• 文献に報告された12のベンチマークデータセット（5つの単ラベル、7つのマルチラベル）のパフォーマンス結果を集約し、一貫性と公平性を確保するために、追加の実験を実施した。
• 著者らは、現代的なトレーニング手法を用いた広範な多層パーセプトロン（WideMLP）を、TF-IDFまたはカウントベクトル表現上で学習させることで、強力なBag-of-Wordsベースラインとして用いた。
• これらのベースラインを、事前学習済み言語モデル（例：BERT、RoBERTa）および最新のグラフベースモデル（例：TextGCN、HeteGCN、HBGL）と比較した。
• 階層ベース手法に関しては、分類階層情報を事前学習済みモデルに統合するモデル（例：HBGL）を評価した。
• 評価には標準的な指標（例：F1スコア、正解率）を用い、すべての手法において一貫した訓練・テスト分割、データ前処理、ハイパーパramータチューニングを確保した。

実験結果

リサーチクエスチョン

• RQ1 最近提案されたグラフベースのテキスト分類手法が、SVM や広範な多層パーセプトロンといった確立されたベースラインを顕著に上回るのか？
• RQ2 階層に配慮したモデルは、微調整済みの事前学習済み言語モデルを上回る性能を示せるのか？
• RQ3 現在のテキスト分類分野におけるベンチマーク手法が、新しい手法の真のパフォーマンスを曖昧にしている程度はどの程度か？
• RQ4 事前学習済み言語モデルは依然として最先端の性能を発揮しているのか、それとも特化したアーキテクチャが顕著な向上をもたらすのか？
• RQ5 大規模テキストデータで事前学習されたMLPベースのシーケンスモデル（例：gMLP、aMLP）は、十分に競争力を持つのか？

主な発見

• 評価されたデータセットにおいて、最近提案されたグラフベースおよび階層ベースの手法は、微調整済みの事前学習済み言語モデルを一貫して上回っていない。
• 多くのグラフベース手法が、Bag-of-Words特徴上でよくチューニングされた単純な多層パーセプトロンよりも性能が低いことが判明し、進歩ではなく逆戻りである可能性を示唆している。
• 現代的なトレーニング手法を用いた広範な多層パーセプトロン（WideMLP）は、最も挑戦的なマルチラベルデータセットにおいて最先端のパフォーマンスを達成し、一部の事前学習済みモデルでさえも上回った。
• 分類階層情報を事前学習済みトランスフォーマーに統合するモデル（例：HBGL）のみが、純粋な事前学習済みモデルに対して一貫した改善を示した。
• 本研究は、事前学習済み言語モデルが依然として最先端の性能を発揮していることを確認したが、他のアーキテクチャファミリーがすべてのベンチマークで優れた性能を発揮したとは言えなかった。
• 結果から、現在の研究慣行ではしばしば十分に強力なベースラインが含まれていないことが判明し、結果として手法的進歩の過大評価が生じている可能性がある。