[논문 리뷰] Comparing BERT against traditional machine learning text classification

Santiago González-Carvajal, Eduardo C. Garrido‐Merchán|arXiv (Cornell University)|2020. 05. 26.

Topic Modeling참고 문헌 31인용 수 186

한 줄 요약

본 논문은 BERT와 TF-IDF 기반의 전통적 머신러닝 방법을 네 가지 언어 태스크에서 경험적으로 비교한 결과, BERT가 일반적으로 더 높은 정확도와 더 쉬운 구현을 달성하며, 전이 학습의 이점을 강조한다.

ABSTRACT

The BERT model has arisen as a popular state-of-the-art machine learning model in the recent years that is able to cope with multiple NLP tasks such as supervised text classification without human supervision. Its flexibility to cope with any type of corpus delivering great results has make this approach very popular not only in academia but also in the industry. Although, there are lots of different approaches that have been used throughout the years with success. In this work, we first present BERT and include a little review on classical NLP approaches. Then, we empirically test with a suite of experiments dealing different scenarios the behaviour of BERT against the traditional TF-IDF vocabulary fed to machine learning algorithms. Our purpose of this work is to add empirical evidence to support or refuse the use of BERT as a default on NLP tasks. Experiments show the superiority of BERT and its independence of features of the NLP problem such as the language of the text adding empirical evidence to use BERT as a default technique to be used in NLP problems.

연구 동기 및 목표

• 텍스트 분류에서 BERT가 TF-IDF 기반의 전통 NLP 접근법에 비해 실증적 이점을 제공하는지 평가한다.
• 다양한 언어에 걸친 BERT의 언어 독립성을 평가한다.
• 전통적 파이프라인에 비해 BERT의 실용성과 구현의 용이성을 입증한다.
• 저자원 또는 다중 언어 환경에서의 전이 학습 효과에 대한 인사이트를 제공한다.

제안 방법

• ktrain을 사용한 사전학습된 BERT 모델을 여러 전통 ML 분류기에 공급된 TF-IDF 어휘와 비교한다.
• 다른 언어와 분류 작업을 가진 네 가지 데이터셋을 사용한다.
• 표준 ML 모델과 함께 TF-IDF를 벤치마크 대상으로 사용한다.
• 일부 실험에서 AutoML 도구(Predictor, H2OAutoML)를 활용해 강력한 전통 모델을 선택한다.
• 맥락을 위해 BERT 아키텍처 및 사전 학습/미세 조정 워크플로우를 설명한다.

실험 결과

연구 질문

• RQ1 다양한 언어와 도메인에서 BERT가 TF-IDF 기반의 전통 ML 방법을 능가하는가?
• RQ2 언어 및 데이터셋 크기 변동에 대해 BERT의 성능이 강건한가?
• RQ3 저자원 또는 다국어 텍스트 분류 작업에서 전이 학습이 성능에 어떤 영향을 미치는가?
• RQ4 BERT 구현의 용이성과 전통적인 NLP 파이프라인 구축의 용이성은 어떻게 비교되는가?

주요 결과

• IMDB 감정 분류에서 BERT는 0.9387 정확도를 달성하여 Voting Classifier(0.9007) 및 로지스틱 회귀(0.8949), Linear SVC(0.8989)와 같은 다른 베이스라인을 능가한다.
• RealOrNot 트윗에서 BERT는 0.8361 정확도(Kaggle 점수 0.83640)를 달성하는 반면, 최상의 H2OAutoML 모델은 0.7875 정확도(Kaggle 0.77607)를 기록한다.
• 포르투갈어 뉴스에서 BERT는 0.9093 정확도(Kaggle 0.91196)를 달성하는 반면, GradientBoostingClassifier는 Kaggle에서 0.85047이다.
• 중국어 호텔 리뷰에서 BERT는 0.9381 정확도를 달성하고, Predictor(auto_ml)는 0.7399를 기록하며, 전통적 최상 모델은 GradientBoostingClassifier이다.
• 네 가지 실험에 걸쳐 BERT가 일반적으로 전통적 TF-IDF 기반 접근법을 능가하며, BERT 구현이 덜 복잡한 것으로 보고된다.