[논문 리뷰] Are We Really Making Much Progress in Text Classification? A Comparative Review

Lukas Galke, Ansgar Scherp외 6명|arXiv (Cornell University)|2022. 04. 08.

Text and Document Classification Technologies인용 수 8

한 줄 요약

이 논문은 최근의 텍스트 분류 방법—bag-of-words, 순서 기반, 그래프 기반, 계층 기반—을 강력한 베이스라인과 비교함으로써 그에 대한 비판적 평가를 수행한다. 이는 사전 미세조정된 언어 모델과 넓은 다층 퍼셉트론을 포함한다. 연구 결과, 대부분의 새로운 그래프 기반 및 계층 기반 접근법이 단순하고 잘 튜닝된 베이스라인을 능가하지 못함을 확인하였으며, 이는 광범위한 방법론적 혁신에도 불구하고 분야 내 실질적 진전이 제한적임을 시사한다.

ABSTRACT

We analyze various methods for single-label and multi-label text classification across well-known datasets, categorizing them into bag-of-words, sequence-based, graph-based, and hierarchical approaches. Despite the surge in methods like graph-based models, encoder-only pre-trained language models, notably BERT, remain state-of-the-art. However, recent findings suggest simpler models like logistic regression and trigram-based SVMs outperform newer techniques. While decoder-only generative language models show promise in learning with limited data, they lag behind encoder-only models in performance. We emphasize the superiority of discriminative language models like BERT over generative models for supervised tasks. Additionally, we highlight the literature's lack of robustness in method comparisons, particularly concerning basic hyperparameter optimizations like learning rate in fine-tuning encoder-only language models. Data availability: The source code is available at https://github.com/drndr/multilabel-text-clf All datasets used for our experiments are publicly available except the NYT dataset.

연구 동기 및 목표

• 최근의 텍스트 분류 기술, 특히 그래프 기반 및 계층 기반 방법이 의미 있는 진전을 이루었는지 평가하기.
• 사전 미세조정된 언어 모델과 넓은 다층 퍼셉트론을 포함한 강력한 기존 베이스라인과의 비교를 통해 현대적 텍스트 분류 방법의 성능을 평가하기.
• 현재 텍스트 분류 분야의 벤치마크 실무가 방법론적 주장의 타당성을 검증하기에 충분한가를 확인하기.
• 향후 연구에서 과도하게 향상된 성능을 과대평가하지 않도록 하기 위해 강력하고 최신 기술 기반의 베이스라인을 사용하는 것이 중요함을 강조하기.
• 5개의 단일 레이블 및 7개의 다중 레이블 데이터셋에 대한 체계적 비교를 포함한 새로운 실험 평가 수행하기.

제안 방법

• 논문은 단일 레이블 및 다중 레이블 텍스트 분류 방법에 대한 종합적인 문헌 조사를 수행하여, bag-of-words, 순서 기반, 그래프 기반, 계층 기반의 네 가족으로 분류한다.
• 문헌에서 보고된 12개의 벤치마크 데이터셋(5개 단일 레이블, 7개 다중 레이블)의 성능 결과를 취합하고, 일관성과 공정성을 확보하기 위해 새로운 실험을 보완한다.
• TF-IDF 또는 카운트 벡터 표현을 기반으로 현대적인 학습 기법을 적용한 넓은 다층 퍼셉트론(WideMLP)을 강력한 bag-of-words 베이스라인으로 사용한다.
• 이러한 베이스라인을 사전 미세조정된 언어 모델(BERT, RoBERTa 등)과 새로운 그래프 기반 모델(TextGCN, HeteGCN, HBGL 등)과 비교한다.
• 계층 기반 방법의 경우, 클래스 계층 정보를 사전 미세조정된 모델에 통합하는 모델들(예: HBGL)을 평가한다.
• 표준 평가 지표(F1, 정확도 등)를 사용하고, 모든 방법에 대해 동일한 훈련-테스트 분할, 데이터 전처리 및 하이퍼파ram터 튜닝을 보장한다.

실험 결과

연구 질문

• RQ1 최근에 제안된 그래프 기반 텍스트 분류 방법이 SVM이나 넓은 다층 퍼셉트론과 같은 기존 베이스라인을 뛰어넘는가?
• RQ2 계층 인식 모델은 사전 미세조정된 언어 모델보다 텍스트 분류 과제에서 성능을 향상시킬 수 있는가?
• RQ3 현재 텍스트 분류 분야의 벤치마크 실무가 신규 방법의 진정한 성능을 가려내는 데 얼마나 효과적인가?
• RQ4 사전 미세조정된 언어 모델은 여전히 최고의 성능을 내는가, 아니면 특화된 아키텍처가 측정 가능한 성능 향상을 이끌 수 있는가?
• RQ5 대규모 텍스트 데이터에서 사전 미세조정된 다층 퍼셉트론 기반 순서 기반 모델(gMLP, aMLP 등)이 경쟁력 있는 성능을 내는가?

주요 결과

• 평가된 데이터셋에서 최근에 제안된 그래프 기반 또는 계층 기반 방법 중 어느 것도 사전 미세조정된 언어 모델을 일관되게 능가하지 못한다.
• 많은 그래프 기반 모델이 단순하고 잘 튜닝된 다층 퍼셉트론보다 성능이 열 劣하며, 이는 진보가 아니라 후퇴임을 시사한다.
• 현대적인 학습 기법을 적용한 넓은 다층 퍼셉트론(WideMLP)이 가장 도전적인 다중 레이블 데이터셋에서 최고의 성능을 기록하였으며, 일부 사전 미세조정된 모델보다도 뛰어나다.
• 사전 미세조정된 트랜스포머에 클래스 계층 정보를 통합하는 모델들, 예를 들어 HBGL과 같은 모델들만이 순수한 사전 미세조정된 모델보다 일관되게 향상된 성능을 보였다.
• 연구 결과에 따르면 사전 미세조정된 언어 모델이 여전히 최고의 성능을 내며, 다른 아키텍처 유형이 모든 벤치마크에서 뛰어난 성능을 내는 것은 확인되지 않았다.
• 결과적으로 현재의 연구 관행은 종종 충분히 강력한 베이스라인을 포함하지 않아 방법론적 진전의 과대평가를 초래하는 것으로 나타났다.