[论文解读] Investigating the Effectiveness of Representations Based on Pretrained Transformer-based Language Models in Active Learning for Labelling Text Datasets

Jinghui Lu, Brian Mac Namee|arXiv (Cornell University)|Apr 21, 2020

Topic Modeling参考文献 48被引用 13

一句话总结

本文评估了预训练的基于Transformer的模型——特别是类似BERT的架构——作为文本分类主动学习中文本表示的有效性。结果表明，这些模型，尤其是采用平均词嵌入和不确定性采样策略的RoBERTa，在性能上显著优于传统的bag-of-words和word2vec方法，并提出了自适应调优主动学习（ATAL），该方法在主动学习过程中对嵌入进行微调，从而进一步提升性能。

ABSTRACT

Active learning has been shown to be an effective way to alleviate some of the effort required in utilising large collections of unlabelled data for machine learning tasks without needing to fully label them. The representation mechanism used to represent text documents when performing active learning, however, has a significant influence on how effective the process will be. While simple vector representations such as bag-of-words and embedding-based representations based on techniques such as word2vec have been shown to be an effective way to represent documents during active learning, the emergence of representation mechanisms based on the pre-trained transformer-based neural network models popular in natural language processing research (e.g. BERT) offer a promising, and as yet not fully explored, alternative. This paper describes a comprehensive evaluation of the effectiveness of representations based on pre-trained transformer-based language models for active learning. This evaluation shows that transformer-based models, especially BERT-like models, that have not yet been widely used in active learning, achieve a significant improvement over more commonly used vector representations like bag-of-words or other classical word embeddings like word2vec. This paper also investigates the effectiveness of representations based on variants of BERT such as Roberta, Albert as well as comparing the effectiveness of the [CLS] token representation and the aggregated representation that can be generated using BERT-like models. Finally, we propose an approach Adaptive Tuning Active Learning. Our experiments show that the limited label information acquired in active learning can not only be used for training a classifier but can also adaptively improve the embeddings generated by the BERT-like language models as well.

研究动机与目标

• 评估预训练的基于Transformer的语言模型是否在文本标注的主动学习中优于经典的向量表示方法（如bag-of-words和word2vec）。
• 评估使用轻量级BERT变体（如DistilBERT和ALBERT）在主动学习中性能与计算成本之间的权衡。
• 比较BERT类模型中[CLS]标记嵌入与平均词级嵌入在文档级分类中的有效性。
• 探究在主动学习过程中对预训练模型进行微调是否能进一步提升性能。
• 提出并评估一种新颖的自适应调优机制，该机制不仅利用标签信息进行分类，还用于改善嵌入表示。

提出的方法

• 本研究采用多种主动学习选择策略，包括不确定性采样，以评估不同文本表示方法。
• 使用预训练的Transformer模型——RoBERTa、BERT、DistilBERT和ALBERT——为文本文档生成上下文相关的嵌入表示。
• 比较了两种表示策略：使用[CLS]标记的嵌入表示，以及对序列中所有标记嵌入进行平均。
• 提出了自适应调优主动学习（ATAL），即在每个主动学习周期中，使用新标注的数据对模型进行渐进式微调。
• 使用八个多样化的文本分类数据集评估性能，通过跟踪不同标注数据量下的学习曲线来衡量表现。
• 将完全微调的RoBERTa模型作为性能比较的上限基准。

实验结果

研究问题

• RQ1 RQ1：在文本标注的主动学习中，预训练的基于Transformer的语言模型的表示是否比传统向量表示（如bag-of-words、word2vec）更有效？
• RQ2 RQ2：轻量级BERT变体（如DistilBERT、ALBERT）是否能在降低计算成本的同时保持高性能？
• RQ3 在BERT类模型中，[CLS]标记表示还是平均词级表示在文档级分类中更有效？
• RQ4 在主动学习过程中对预训练模型进行微调是否能提升嵌入质量与整体性能？

主要发现

• 使用平均词嵌入的RoBERTa在大多数数据集上始终表现最优，达到了最高的accuracy+。
• ATAL通过在主动学习过程中使用标注数据对模型进行微调，显著提升了性能，尤其在Multi-domain Customer Review和Additional Customer Review等挑战性数据集上表现突出。
• 在八个数据集中的五个上，ATAL相比标准主动学习取得了显著优势，性能提升在仅200个标注实例时即已显现。
• 在三个简单数据集（Guardian 2013、AG News、Dbpedia）中，标准方法与ATAL均迅速达到接近完美的准确率，表明ATAL不会造成性能下降。
• DistilBERT和ALBERT在显著降低计算成本的同时提供了具有竞争力的性能，使其在GPU内存受限时成为可行的替代方案。
• 在所有评估的模型和数据集中，平均嵌入表示均优于[CLS]标记表示。