[论文解读] Learning From Less Data: Diversified Subset Selection and Active Learning in Image Classification Tasks

Vishal Kaushal, Anurag Sahoo+6 more|arXiv (Cornell University)|May 28, 2018

Machine Learning and Algorithms参考文献 56被引用 6

一句话总结

本文提出使用以多样性为导向的子集选择方法——具体为设施选址（Facility-Location）与差异最小化（Disparity-Min）模型——以提升图像分类任务中的数据效率。通过选择具有代表性且非冗余的训练子集，该方法在显著减少训练数据量的同时，将模型准确率提升了2–3%，并减少了主动学习中的标注工作量，在多个视觉任务中均优于不确定性采样与随机选择。

ABSTRACT

Supervised machine learning based state-of-the-art computer vision techniques are in general data hungry and pose the challenges of not having adequate computing resources and of high costs involved in human labeling efforts. Training data subset selection and active learning techniques have been proposed as possible solutions to these challenges respectively. A special class of subset selection functions naturally model notions of diversity, coverage and representation and they can be used to eliminate redundancy and thus lend themselves well for training data subset selection. They can also help improve the efficiency of active learning in further reducing human labeling efforts by selecting a subset of the examples obtained using the conventional uncertainty sampling based techniques. In this work we empirically demonstrate the effectiveness of two diversity models, namely the Facility-Location and Disparity-Min models for training-data subset selection and reducing labeling effort. We do this for a variety of computer vision tasks including Gender Recognition, Scene Recognition and Object Recognition. Our results show that subset selection done in the right way can add 2-3% in accuracy on existing baselines, particularly in the case of less training data. This allows the training of complex machine learning models (like Convolutional Neural Networks) with much less training data while incurring minimal performance loss.

研究动机与目标

• 通过减少训练数据需求，解决计算机视觉中训练深度卷积神经网络（CNN）的高数据与标注成本问题。
• 通过多样化子集选择减少冗余标注，提升主动学习的效率。
• 证明，当训练数据有限时，具有多样性感知的子集选择可提升模型性能。
• 基于数据集特征（如类别多样性与类内相似性）提供在设施选址与差异最小化之间进行选择的实用指导。

提出的方法

• 应用设施选址函数，选择在特征空间中具有最大覆盖度的多样化、代表性训练样本。
• 使用差异最小化函数，选择彼此间差异最大的样本，以最小化成对差异，避免冗余。
• 将两种子集选择方法与不确定性采样集成到主动学习流程中，以减少标注工作量。
• 采用贪心优化算法高效求解子集选择问题，利用子模性特性保证可计算性。
• 在选定的子集上微调预训练模型，以评估其在低数据场景下的性能表现。
• 在多个基准数据集（Adience、Caltech-101、MIT-67 和 Gender Recognition）上，将子集选择方法与随机采样和不确定性采样进行对比。

实验结果

研究问题

• RQ1 在训练数据有限的情况下，具有多样性感知的子集选择能否提升模型准确率？
• RQ2 在主动学习框架中，设施选址与差异最小化在减少标注工作量方面表现如何比较？
• RQ3 子集选择方法的性能是否依赖于数据集特征（如类别数量或类内相似性）？
• RQ4 子集选择在不牺牲模型准确率的前提下，最多可将所需人工标注样本数量减少多少？
• RQ5 在何种场景下，多样性选择优于代表性选择，反之亦然？

主要发现

• 使用设施选址与差异最小化进行子集选择，相较于基线方法，将模型准确率提升了2–3%，尤其在低数据场景下表现显著。
• 在具有高类内相似性的 Adience 数据集中，差异最小化初期表现优于设施选址，因其更善于选择多样化的异常值。
• 在类别更多、类间差异更高的 Caltech-101 与 MIT-67 数据集中，设施选址表现更优，因其能更好地选择具有代表性的典型样本。
• 在主动学习中，将不确定性采样与子集选择结合，始终优于纯不确定性采样与随机选择。
• 随着未标注样本数量减少，子集选择的优势逐渐减弱，表明在后期阶段，不确定性采样本身已足够有效。
• 设施选址函数可作为最近邻分类的强代理，与先前研究的理论预期一致。