[论文解读] Low-Shot Classification: A Comparison of Classical and Deep Transfer Machine Learning Approaches

P.N.R. Usherwood, Steven Smit|arXiv (Cornell University)|Jul 17, 2019

Topic Modeling参考文献 20被引用 4

一句话总结

本文比较了在每类仅100–1000个标注样本的低样本量文本分类任务中，深度迁移学习（如BERT）与经典机器学习（如SVM、逻辑回归）的表现。在100个样本时，BERT平均领先经典方法9.7%，且在跨领域任务中表现出更强的鲁棒性；尽管经典模型在资源受限环境下仍具可行性。

ABSTRACT

Despite the recent success of deep transfer learning approaches in NLP, there is a lack of quantitative studies demonstrating the gains these models offer in low-shot text classification tasks over existing paradigms. Deep transfer learning approaches such as BERT and ULMFiT demonstrate that they can beat state-of-the-art results on larger datasets, however when one has only 100-1000 labelled examples per class, the choice of approach is less clear, with classical machine learning and deep transfer learning representing valid options. This paper compares the current best transfer learning approach with top classical machine learning approaches on a trinary sentiment classification task to assess the best paradigm. We find that BERT, representing the best of deep transfer learning, is the best performing approach, outperforming top classical machine learning algorithms by 9.7% on average when trained with 100 examples per class, narrowing to 1.8% at 1000 labels per class. We also show the robustness of deep transfer learning in moving across domains, where the maximum loss in accuracy is only 0.7% in similar domain tasks and 3.2% cross domain, compared to classical machine learning which loses up to 20.6%.

研究动机与目标

• 评估在标注数据有限（每类100–1000个样本）的低样本量文本分类设置下，深度迁移学习是否相比经典机器学习具有可测量的优势。
• 评估两种范式在同域与跨域迁移学习场景下的鲁棒性。
• 为实践者在真实世界NLP应用中选择经典方法与深度迁移学习提供实证指导，尤其针对小样本数据集。
• 探究在低样本量设置下，模型性能、计算成本与部署可行性之间的权衡。

提出的方法

• 在小规模标注数据集上通过微调，对最先进的深度迁移学习模型（BERT与ULMFiT）在三元情感分类任务上进行训练。
• 与顶级经典机器学习模型（SVM、逻辑回归、fastText）进行对比，采用标准NLP预处理与特征工程。
• 在多个公开数据集上评估性能，以确保结果不仅适用于单一领域或数据分布。
• 对每类模型进行超参数调优，确保比较前达到最优配置。
• 通过在域内与跨域测试集上的准确率测量性能，以评估模型的可迁移性。
• 使用BERT的多语言版本与领域自适应版本，评估其在词汇与领域分布变化下的鲁棒性。

实验结果

研究问题

• RQ1 在每类仅100–1000个标注样本的低样本量文本分类任务中，BERT等深度迁移学习模型与经典机器学习模型在准确率上的表现如何？
• RQ2 当在文本特征（如长度、词汇、俚语）不同的领域之间迁移模型时，各范式的性能如何变化？
• RQ3 在域外数据上测试时，经典方法与深度迁移学习模型的相对鲁棒性如何？
• RQ4 在低样本量设置下，模型性能、推理成本与人力投入（如超参数调优、特征工程）之间的实际权衡是什么？

主要发现

• 当每类仅使用100个标注样本训练时，BERT平均比顶级经典机器学习模型高出9.7%的准确率。
• 当训练数据增至每类1000个样本时，性能差距缩小至1.8%，表明在大规模下迁移学习的收益递减。
• 深度迁移学习模型展现出更强的跨领域鲁棒性，跨领域准确率最大仅下降3.2%，而经典模型最高下降达20.6%。
• 经典模型对领域变化更敏感，尤其在处理OOV（未登录词）时表现较差，尤其在包含俚语或非正式语言的领域中。
• 与经典模型的标准子词或词级别分词相比，BERT的WordPiece分词在处理罕见词或OOV词方面表现更优。
• 尽管对硬件要求更高（如BERT-base需12GB显存），深度迁移学习显著减少了人工在特征工程与超参数调优上的投入，从而在长期生产部署中实现成本节约。