[论文解读] To Softmax, or not to Softmax: that is the question when applying Active Learning for Transformer Models

Julius Gonsior, Christian Falkenberg+4 more|arXiv (Cornell University)|Oct 6, 2022

Natural Language Processing Techniques参考文献 30被引用 5

一句话总结

本文研究了Transformer模型中主动学习的不确定性估计方法，发现标准Softmax会导致对异常值的过度选择。为解决此问题，提出了一种简单启发式方法——不确定性裁剪（Uncertainty Clipping），即忽略最不确定的前k个样本，该方法在所有方法中均提升了性能，包括原始Softmax，当与该启发式方法结合时，其性能依然具有竞争力。

ABSTRACT

Despite achieving state-of-the-art results in nearly all Natural Language Processing applications, fine-tuning Transformer-based language models still requires a significant amount of labeled data to work. A well known technique to reduce the amount of human effort in acquiring a labeled dataset is extit{Active Learning} (AL): an iterative process in which only the minimal amount of samples is labeled. AL strategies require access to a quantified confidence measure of the model predictions. A common choice is the softmax activation function for the final layer. As the softmax function provides misleading probabilities, this paper compares eight alternatives on seven datasets. Our almost paradoxical finding is that most of the methods are too good at identifying the true most uncertain samples (outliers), and that labeling therefore exclusively outliers results in worse performance. As a heuristic we propose to systematically ignore samples, which results in improvements of various methods compared to the softmax function.

研究动机与目标

• 为解决在微调Transformer模型时主动学习（AL）性能不佳的问题，特别是当依赖Softmax进行不确定性估计时。
• 在基于Transformer的NLP模型主动学习背景下，评估八种超越Softmax的替代不确定性估计方法。
• 探究为何基于不确定性的主动学习策略在Transformer上往往表现不佳，尤其是由于对难以学习的异常值过度选择。
• 提出并验证一种简单而有效的启发式方法——不确定性裁剪（Uncertainty Clipping），通过系统性忽略最不确定的样本，从而提升主动学习性能。
• 确定在结合校正机制后，原始Softmax函数在Transformer主动学习中是否仍具可行性。

提出的方法

• 作者比较了八种不确定性估计方法：Softmax、蒙特卡洛Dropout、TrustScore、标签平滑、Deep Gini、证据神经网络、Softmax集成以及带温度缩放的Softmax。
• 在标准池基主动学习循环中应用这些方法，使用BERT和RoBERTa作为基础模型，在七个文本分类数据集上进行实验。
• 关键创新在于不确定性裁剪（UC），即在标注前从查询批次中移除最不确定的前k个样本，从而防止对异常值的过度依赖。
• 该方法作为模型不确定性分数的后处理步骤实现，无需架构修改或额外训练。
• 通过标注预算下的准确率、类别分布偏移以及多轮主动学习中的运行效率来评估性能。
• 实验包括端到端训练与评估，运行时间与模型微调时间分别测量。

实验结果

研究问题

• RQ1 为何基于不确定性的主动学习策略在应用于微调后的Transformer模型时无法提升性能？
• RQ2 在Transformer模型的主动学习中，替代不确定性估计方法与原始Softmax相比表现如何？
• RQ3 选择高不确定性样本（即异常值）在多大程度上损害了Transformer中主动学习的性能？
• RQ4 像不确定性裁剪这样的简单启发式方法能否缓解在主动学习中选择高度不确定（异常值）样本的负面影响？
• RQ5 当与校正机制（如不确定性裁剪）结合时，原始Softmax函数在主动学习中是否仍可作为不确定性估计的可行选择？

主要发现

• 尽管在理论上存在缺陷，原始Softmax函数在与不确定性裁剪结合后，在Transformer的主动学习中仍表现出具有竞争力的性能。
• 大多数替代不确定性方法，包括蒙特卡洛Dropout和证据神经网络，由于对异常值的过度选择，其性能甚至低于随机采样。
• 不确定性裁剪显著提升了所有不确定性估计方法的性能，包括基线Softmax，通过减少查询批次中极端异常值的引入。
• 该方法计算高效，无需重新训练或架构修改，易于集成到现有主动学习流程中。
• 在不确定性裁剪下，查询批次中的类别分布偏移减少，表明各类别采样更加均衡。
• 运行时间分析表明，基于集成的方法（如Softmax集成）效率极低，而其他方法（包括蒙特卡洛Dropout和TrustScore）仅带来微小的额外开销。