[论文解读] Making Your First Choice: To Address Cold Start Problem in Vision Active Learning

Liangyu Chen, Yutong Bai+5 more|arXiv (Cornell University)|Oct 5, 2022

Machine Learning and Algorithms被引用 6

一句话总结

本文通过提出一种基于对比学习的初始查询策略，解决了视觉主动学习中的冷启动问题，该策略确保了标签多样性并选择难以对比（典型）的样本。通过利用K均值聚类生成的伪标签以及对比学习中的实例判别，该方法在早期阶段的性能优于随机选择和现有的主动学习策略，为图像分类任务中的初始数据选择建立了强有力的基线。

ABSTRACT

Active learning promises to improve annotation efficiency by iteratively selecting the most important data to be annotated first. However, we uncover a striking contradiction to this promise: active learning fails to select data as efficiently as random selection at the first few choices. We identify this as the cold start problem in vision active learning, caused by a biased and outlier initial query. This paper seeks to address the cold start problem by exploiting the three advantages of contrastive learning: (1) no annotation is required; (2) label diversity is ensured by pseudo-labels to mitigate bias; (3) typical data is determined by contrastive features to reduce outliers. Experiments are conducted on CIFAR-10-LT and three medical imaging datasets (i.e. Colon Pathology, Abdominal CT, and Blood Cell Microscope). Our initial query not only significantly outperforms existing active querying strategies but also surpasses random selection by a large margin. We foresee our solution to the cold start problem as a simple yet strong baseline to choose the initial query for vision active learning. Code is available: https://github.com/c-liangyu/CSVAL

研究动机与目标

• 识别并解决视觉主动学习中的冷启动问题，即初始主动查询的性能低于随机选择。
• 探究初始查询选择不佳的根本原因，特别是对多数类的偏差以及依赖未训练模型进行异常值检测。
• 开发一种无需标注的实用方法，确保标签多样性，并为第一次查询选择典型（难以对比）的数据。
• 建立一种简单但有效的初始查询选择基线，显著提升后续主动学习周期的性能。

提出的方法

• 在无标签数据上使用对比学习（MoCo v2）学习实例级表征，无需任何标注。
• 对对比学习特征应用K均值聚类以生成伪标签，确保初始查询中的标签多样性。
• 通过测量样本与其增强视图之间区分难度，将“难以对比”的样本识别为典型数据，从而减少异常值的选择。
• 结合伪标签多样性与难以对比的标准，形成混合查询选择度量，用于第一轮主动学习。
• 使用数据集映射（Dataset Maps）进行回溯评估，以验证标签多样性与典型性可提升初始查询质量的假设。
• 采用两阶段策略：首先通过聚类特征以实现标签多样性；其次选择对比困难度高的样本（即难以对比的样本）以确保典型性。

实验结果

研究问题

• RQ1 视觉主动学习中冷启动问题的根本原因是什么，即为何主动选择在首次查询时表现不如随机采样？
• RQ2 在初始查询阶段缺乏真实标签的情况下，如何实现标签多样性？
• RQ3 对比学习能否在无需预训练模型的前提下识别典型（非异常值）数据？
• RQ4 基于标签多样性与难以对比样本的查询策略是否能显著提升早期主动学习性能？
• RQ5 该方法能否作为跨多种视觉数据集的初始查询选择的强且可泛化的基线？

主要发现

• 所提出的‘难以对比’数据选择方法在CIFAR-10-LT和三个医学影像数据集上的初始查询阶段，持续优于随机选择及所有现有主动学习策略（如熵、间隔、BALD、Coreset）。
• 在OrganAMNIST、BloodMNIST和PathMNIST数据集中，该方法在每个主动学习周期均取得更高的AUC分数，且初始查询与最终性能之间存在强正相关性（r = 0.92）。
• 使用该方法时，20张标注图像时的AUC与50张标注图像时的AUC之间仍保持高度相关性（r = 0.92），表明初始查询能强有力预测下游性能。
• 即使使用预训练的MoCo v2模型，该方法在初始性能与最终性能之间仍保持高度相关性（r = 0.92），证实其对模型初始化的鲁棒性。
• 该方法减少了选择偏差：与标准主动学习策略不同，它成功地在初始查询中纳入了少数类样本，如所选数据中类别分布均衡所示。
• 该方法在自然图像与医学影像数据集上均表现有效，证明其超越特定领域的泛化能力。