[论文解读] Multi-class Text Classification using BERT-based Active Learning

Sumanth Prabhu, Moosa Mohamed+1 more|arXiv (Cornell University)|Apr 27, 2021

Text and Document Classification Technologies参考文献 47被引用 5

一句话总结

本文提出了一种基于 BERT 的主动学习框架，用于解决在拼写混合（印地语-英语）、短文本及不连贯文本场景下，拾取与配送服务中常见的低资源多分类文本分类问题。通过在 TREC-6、AG's News 和一个内部数据集上评估多种主动学习策略（包括不确定性、多样性与代表性），该方法在保持高准确率的同时，将标注成本降低了 85%，其中 EGL 和 DAL 在多样性、代表性与低类别偏差之间表现出更优的平衡。

ABSTRACT

Text Classification finds interesting applications in the pickup and delivery services industry where customers require one or more items to be picked up from a location and delivered to a certain destination. Classifying these customer transactions into multiple categories helps understand the market needs for different customer segments. Each transaction is accompanied by a text description provided by the customer to describe the products being picked up and delivered which can be used to classify the transaction. BERT-based models have proven to perform well in Natural Language Understanding. However, the product descriptions provided by the customers tend to be short, incoherent and code-mixed (Hindi-English) text which demands fine-tuning of such models with manually labelled data to achieve high accuracy. Collecting this labelled data can prove to be expensive. In this paper, we explore Active Learning strategies to label transaction descriptions cost effectively while using BERT to train a transaction classification model. On TREC-6, AG's News Corpus and an internal dataset, we benchmark the performance of BERT across different Active Learning strategies in Multi-Class Text Classification.

研究动机与目标

• 解决在涉及短文本、不连贯且拼写混合（印地语-英语）交易描述的真实工业应用中，基于 BERT 的多分类文本分类所面临的高人工标注成本问题。
• 在基于 BERT 的框架内，评估并比较多种主动学习策略（不确定性、多样性、代表性与类别偏差），以最小化标注工作量。
• 在公开数据集与内部数据集上对先进主动学习方法（如 EGL、DAL、DBAL、Core-set）进行基准测试，以识别最适合工业部署的策略。
• 评估在基于 BERT 的文本分类中，不同主动学习策略在模型性能、标注效率与计算运行时间之间的权衡。

提出的方法

• 在小规模初始标注数据集上微调 BERT，以初始化一个多分类预测的文本分类模型。
• 应用多种主动学习策略——不确定性（熵）、多样性（Core-set）、代表性（KNN-密度）与类别偏差（标签熵）——从未标注数据池中选择最具信息量的样本。
• 使用 BERT 的 [CLS] token 嵌入作为多样性与代表性度量的输入，通过计算实例间的距离来实现 Core-set 与 KNN-密度的计算。
• 通过选择在所有类别上预测熵最高的样本，实现不确定性采样。
• 使用 KNN-密度度量评估代表性：即未标注池中 K 个最近邻的平均距离的倒数。
• 通过真实标签分布与所选样本分布之间的 Kullback-Leibler（KL）散度来量化类别偏差。

实验结果

研究问题

• RQ1 在基于 BERT 的多分类文本分类中，哪种主动学习策略——不确定性、多样性或代表性——最有效地在保持高分类准确率的同时降低标注成本？
• RQ2 当应用于短文本、不连贯且拼写混合的文本数据时，不同主动学习策略在多样性与代表性方面的表现如何？
• RQ3 主动学习策略在多大程度上引入了类别偏差？哪些策略在采样过程中最小化了标签分布的不平衡？
• RQ4 在基于 BERT 的设置中，不同主动学习策略在模型性能、标注效率与计算运行时间之间的权衡如何？

主要发现

• EGL（基于熵的主动学习）在多样性、代表性与低类别偏差方面实现了最佳整体平衡，在 TREC-6 与 AG's News 语料库上均优于其他策略。
• 随机采样在多样性与代表性得分上最高，但类别偏差最大，表明其标签分布覆盖能力差。
• DAL（多样性感知主动学习）与 EGL 显著低于不确定性、Core-set 与 DBAL 的类别偏差，经 Wilcoxon 符号秩检验确认（p < 0.05）。
• 主动学习策略的运行时间差异显著：随机采样最快（<1 秒），而 EGL 最慢（每轮 484 秒），因其依赖梯度计算。
• 平均而言，所提出的主动学习框架相比全监督微调，将标注成本降低了 85%，且在所有数据集上均保持了高准确率。
• Core-set 在多样性方面表现优异，但代表性不一致，可能因选中了异常值实例，凸显了纯基于多样性的采样策略中的权衡。