[论文解读] Active Learning Helps Pretrained Models Learn the Intended Task

Alex Tamkin, Dat Tien Nguyen+3 more|arXiv (Cornell University)|Apr 18, 2022

Machine Learning and Algorithms被引用 14

一句话总结

该论文表明，通过自主识别能够解决任务歧义的样本（如罕见属性或非典型背景），微调模型在主动学习中显著优于非微调模型，使达到同等性能所需的标注样本数最多减少5倍。这种性能提升源于预训练过程，该过程增强了表示空间中用于消歧特征的线性可分性。

ABSTRACT

Models can fail in unpredictable ways during deployment due to task ambiguity, when multiple behaviors are consistent with the provided training data. An example is an object classifier trained on red squares and blue circles: when encountering blue squares, the intended behavior is undefined. We investigate whether pretrained models are better active learners, capable of disambiguating between the possible tasks a user may be trying to specify. Intriguingly, we find that better active learning is an emergent property of the pretraining process: pretrained models require up to 5 times fewer labels when using uncertainty-based active learning, while non-pretrained models see no or even negative benefit. We find these gains come from an ability to select examples with attributes that disambiguate the intended behavior, such as rare product categories or atypical backgrounds. These attributes are far more linearly separable in pretrained model's representation spaces vs non-pretrained models, suggesting a possible mechanism for this behavior.

研究动机与目标

• 研究微调模型是否在主动学习中比非微调模型更有效地解决任务歧义。
• 解决训练数据不完整或模糊的问题，即多种行为与所提供示例一致。
• 探索预训练如何使模型识别并优先选择有助于澄清用户意图的信息性样本。
• 确定不确定性采样主动学习是否能为微调模型带来可测量的数据效率提升。
• 识别微调模型在主动学习中性能提升的潜在机制。

提出的方法

• 采用基于池的主动学习，包含一个已标注数据的种子集和一个大规模未标注样本池。
• 应用不确定性采样（最小置信度启发式）作为获取函数：选择预测置信度最低的样本。
• 在种子集上微调模型，然后从未标注池中迭代选择置信度最低的预测结果。
• 在图像和文本数据集上，采用相同的主动学习协议比较微调与非微调模型的性能。
• 分析表示空间，评估消歧属性（如罕见产品类别、非典型背景）的线性可分性。
• 利用微调模型提供的校准不确定性估计，指导选择信息量大且具有歧义的样本。

实验结果

研究问题

• RQ1 微调模型是否能在通过主动学习解决任务歧义方面优于非微调模型？
• RQ2 微调模型在主动学习过程中选择哪些类型的样本，为何它们更具信息量？
• RQ3 预训练是否使模型能更好地识别如罕见属性或非典型背景等消歧特征？
• RQ4 微调模型在主动学习中性能的提升是否是预训练过程的涌现特性？
• RQ5 微调模型与非微调模型在表示空间中消歧属性的线性可分性有何差异？

主要发现

• 与随机采样相比，微调模型将所需标注样本数最多减少5倍，即可达到相同性能。
• 在固定标注预算下，微调模型相比随机采样实现了+11%的绝对准确率提升。
• 主动学习对非微调模型无益甚至有害，表明主动学习性能的提升是预训练的涌现特性。
• 性能提升源于微调模型识别出具有罕见或非典型属性（如在红方块与蓝圆圈数据集中的蓝方块）的样本，从而解决任务歧义。
• 这些用于消歧的属性在微调模型的表示空间中显著比在非微调模型中更具线性可分性。
• 微调模型产生更校准的不确定性估计，从而能更优地选择具有歧义的输入进行标注。