[论文解读] Comparing BERT against traditional machine learning text classification

Santiago González-Carvajal, Eduardo C. Garrido‐Merchán|arXiv (Cornell University)|May 26, 2020

Topic Modeling参考文献 31被引用 186

一句话总结

该论文在四个语言任务中实证比较了 BERT 与基于 TF-IDF 的传统机器学习方法，结果显示 BERT 通常获得更高的准确性且实现更易，突出转移学习的优势。

ABSTRACT

The BERT model has arisen as a popular state-of-the-art machine learning model in the recent years that is able to cope with multiple NLP tasks such as supervised text classification without human supervision. Its flexibility to cope with any type of corpus delivering great results has make this approach very popular not only in academia but also in the industry. Although, there are lots of different approaches that have been used throughout the years with success. In this work, we first present BERT and include a little review on classical NLP approaches. Then, we empirically test with a suite of experiments dealing different scenarios the behaviour of BERT against the traditional TF-IDF vocabulary fed to machine learning algorithms. Our purpose of this work is to add empirical evidence to support or refuse the use of BERT as a default on NLP tasks. Experiments show the superiority of BERT and its independence of features of the NLP problem such as the language of the text adding empirical evidence to use BERT as a default technique to be used in NLP problems.

研究动机与目标

• 评估 BERT 是否在文本分类方面相对于基于 TF-IDF 的传统 NLP 方法具有实证优势。
• 评估 BERT 在多语言中的语言独立性。
• 展示与传统流程相比，实施 BERT 的实用性和简易性。
• 提供在低资源或多语言环境中转移学习效应的见解。

提出的方法

• 使用 ktrain 的预训练 BERT 模型与输入到各种传统 ML 分类器的 TF-IDF 词汇表进行比较。
• 使用四个具有不同语言和分类任务的数据集。
• 将 TF-IDF 与标准 ML 模型作为基线对手进行比较。
• 在某些实验中使用 AutoML 工具（Predictor、H2OAutoML）来筛选强传统模型。
• 描述 BERT 架构及其预训练/微调工作流以便理解。

实验结果

研究问题

• RQ1 BERT 是否在多语言和多领域中优于基于 TF-IDF 的传统 ML 方法？
• RQ2 BERT 的性能是否对语言和数据集规模的变化具有鲁棒性？
• RQ3 转移学习如何影响在低资源或多语言文本分类任务中的性能？
• RQ4 实现 BERT 与构建传统 NLP 流程相比的相对难易度如何？

主要发现

• 在 IMDB 情感分类中，BERT 的准确率为 0.9387，优于 Voting Classifier（0.9007）及其他基线如 Logistic Regression（0.8949）和 Linear SVC（0.8989）。
• 在 RealOrNot 推文中，BERT 的准确率为 0.8361（Kaggle 分数 0.83640），而最佳的 H2OAutoML 模型得分 0.7875（Kaggle 0.77607）。
• 在葡萄牙语新闻中，BERT 达到 0.9093 的准确率（Kaggle 0.91196），对比 GradientBoostingClassifier 的 0.85047 Kaggle。
• 在中文酒店评论中，BERT 实现 0.9381 的准确率，而 Predictor（auto_ml）得分 0.7399；传统最佳模型是 GradientBoostingClassifier。
• 在这四个实验中，BERT 通常优于传统基于 TF-IDF 的方法，实施 BERT 被报道为较不复杂。）