[论文解读] Deep Active Learning with Augmentation-based Consistency Estimation

SeulGi Hong, Heonjin Ha+2 more|arXiv (Cornell University)|Nov 5, 2020

Machine Learning and Algorithms参考文献 22被引用 4

一句话总结

本文提出了一种深度主动学习框架，通过基于数据增强的一致性估计来提升模型泛化能力。通过将Cutout和CutMix重新定义为定量正则化损失和不确定性度量，该方法在多种数据集和标注预算下均提升了性能，且与现有不确定性采样策略结合时实现了稳定的性能增益。

ABSTRACT

In active learning, the focus is mainly on the selection strategy of unlabeled data for enhancing the generalization capability of the next learning cycle. For this, various uncertainty measurement methods have been proposed. On the other hand, with the advent of data augmentation metrics as the regularizer on general deep learning, we notice that there can be a mutual influence between the method of unlabeled data selection and the data augmentation-based regularization techniques in active learning scenarios. Through various experiments, we confirmed that consistency-based regularization from analytical learning theory could affect the generalization capability of the classifier in combination with the existing uncertainty measurement method. By this fact, we propose a methodology to improve generalization ability, by applying data augmentation-based techniques to an active learning scenario. For the data augmentation-based regularization loss, we redefined cutout (co) and cutmix (cm) strategies as quantitative metrics and applied at both model training and unlabeled data selection steps. We have shown that the augmentation-based regularizer can lead to improved performance on the training step of active learning, while that same approach can be effectively combined with the uncertainty measurement metrics proposed so far. We used datasets such as FashionMNIST, CIFAR10, CIFAR100, and STL10 to verify the performance of the proposed active learning technique for multiple image classification tasks. Our experiments show consistent performance gains for each dataset and budget scenario.

研究动机与目标

• 解决主动学习方法在不同数据集和标注预算下泛化能力有限的问题。
• 将基于数据增强的正则化技术——特别是Cutout和CutMix——整合到主动学习中，以提升模型鲁棒性。
• 基于分析学习理论重新定义基于一致性的正则化与不确定性估计，以提升深度主动学习的性能。
• 证明基于数据增强的正则化与现有不确定性采样方法具有协同效应，从而实现一致的性能增益。
• 在多种图像分类基准（FashionMNIST、CIFAR10、CIFAR100、STL10）上，在不同预算约束下验证该方法。

提出的方法

• 将Cutout和CutMix重新表述为可微的、定量的一致性正则化损失，用于主动学习训练过程。
• 通过测量未标注数据在不同增强视图下的预测方差，引入基于数据增强的不确定性估计，以指导样本选择。
• 在每个主动学习周期中同时应用正则化与不确定性估计——在模型训练和未标注数据选择阶段均实施。
• 利用分析学习理论证明：数据增强下的函数变化与泛化误差相关，从而支持一致性估计。
• 将所提出的正则化损失与标准不确定性采样方法（如熵、间隔）结合，以提升性能。
• 使用带增强数据的小批量进行模型训练，并同时优化一致性（通过正则化）和不确定性感知的样本选择。

实验结果

研究问题

• RQ1 基于数据增强的一致性估计是否能提升深度主动学习中的泛化能力？
• RQ2 将基于数据增强的正则化与不确定性采样结合时，其性能在不同数据集上的表现如何？
• RQ3 所提出的方法在不同标注预算约束下是否仍能保持性能增益？
• RQ4 所提出的基于一致性的正则化是否能有效与现有不确定性测量技术结合？
• RQ5 该性能提升在具有不同类别不平衡和数据稀缺性的多样化图像分类数据集中是否具有鲁棒性？

主要发现

• 所提出的方法在所有评估数据集——FashionMNIST、CIFAR10、CIFAR100和STL10——上，于不同标注预算下均实现了稳定的性能增益。
• 将基于数据增强的正则化与不确定性采样（如熵、间隔）结合，相较于基线方法，实现了显著且稳定的优势。
• 在CIFAR100和STL10（每类图像更少）上，不确定性与正则化的结合性能优于单独使用任一方法。
• 该方法对预算变化具有鲁棒性，随着标注数据量增加，性能稳步提升，尤其在使用所提出的正则化时更为明显。
• 将Cutout和CutMix作为基于一致性的正则化器，其泛化能力优于随机采样或单独使用任一技术。
• 实验结果证实，不确定性估计与正则化的协同作用至关重要，因为单独使用任一组件均仅带来有限的性能提升。