[论文解读] Consistency-based Active Learning for Object Detection

Weiping Yu, Sijie Zhu+2 more|arXiv (Cornell University)|Mar 18, 2021

Machine Learning and Algorithms被引用 7

一句话总结

本文提出CALD，一种基于一致性的目标检测主动学习方法，通过测量原始图像与增强图像之间预测的一致性来选择信息量丰富的样本，统一了边界框回归与分类不确定性。CALD实现了最先进性能，在PASCAL VOC上相比随机选择方法mAP提升2.9–2.8 mAP，在MS COCO上提升0.8 mAP，均基于Faster R-CNN架构。

ABSTRACT

Active learning aims to improve the performance of task model by selecting the most informative samples with a limited budget. Unlike most recent works that focused on applying active learning for image classification, we propose an effective Consistency-based Active Learning method for object Detection (CALD), which fully explores the consistency between original and augmented data. CALD has three appealing benefits. (i) CALD is systematically designed by investigating the weaknesses of existing active learning methods, which do not take the unique challenges of object detection into account. (ii) CALD unifies box regression and classification with a single metric, which is not concerned by active learning methods for classification. CALD also focuses on the most informative local region rather than the whole image, which is beneficial for object detection. (iii) CALD not only gauges individual information for sample selection, but also leverages mutual information to encourage a balanced data distribution. Extensive experiments show that CALD significantly outperforms existing state-of-the-art task-agnostic and detection-specific active learning methods on general object detection datasets. Based on the Faster R-CNN detector, CALD consistently surpasses the baseline method (random selection) by 2.9/2.8/0.8 mAP on average on PASCAL VOC 2007, PASCAL VOC 2012, and MS COCO. Code is available at \url{https://github.com/we1pingyu/CALD}

研究动机与目标

• 解决将基于分类的主动学习方法迁移至目标检测时因边界框预测与局部区域关注等独特挑战导致的性能下降问题。
• 通过聚焦局部区域一致性与互信息，克服目标检测中全局度量与类别分布不平衡的局限性。
• 设计一种面向检测任务的主动学习框架，通过基于一致性的度量统一分类与回归不确定性。
• 通过互信息过滤实现类别平衡，提升标注效率，同时选择信息量丰富的样本。

提出的方法

• 对未标注图像应用数据增强（如翻转、Cutout、旋转），并计算原始版本与增强版本之间的预测一致性，以衡量局部区域的信息量。
• 定义基于一致性的度量：对分类置信度与边界框回归均使用预测值与基准点值之间绝对差的最小值，聚焦于最不确定的局部区域。
• 使用基准点 β ≈ 1.3 校准一致性度量，确保其能识别出信息量丰富的预测，同时过滤掉无信息或不稳定的预测。
• 通过选择超出预算数量的样本（如20%扩展率）形成初始选中样本池，为后续过滤提供空间。
• 在初始选中样本池与已标注样本池的类别分布之间计算互信息，用于过滤样本，确保类别分布平衡。
• 在两阶段选择中结合个体信息量与互信息：首先识别信息量丰富的样本，再通过过滤避免类别不平衡。

实验结果

研究问题

• RQ1 将基于分类的主动学习方法迁移至目标检测时性能为何下降？其关键挑战是什么？
• RQ2 与独立使用分类与回归不确定性度量相比，能否通过统一度量同时结合分类与回归不确定性来提升目标检测中的样本选择效果？
• RQ3 与全局图像级度量相比，利用局部区域一致性是否能带来更好的目标检测性能？
• RQ4 在目标检测的主动学习中，互信息过滤在多大程度上能改善类别分布平衡与整体检测准确率？

主要发现

• 与基于Faster R-CNN的随机选择相比，CALD在PASCAL VOC 2007上提升mAP 2.9 mAP，在PASCAL VOC 2012上提升2.8 mAP，在MS COCO上提升0.8 mAP。
• 该方法优于任务无关与检测专用的主动学习基线方法，包括LL4AL与VAAL，后者在从分类迁移至检测时表现出显著性能下降。
• 使用局部区域不一致性均值（全局度量）而非局部最小值会降低性能，证实了聚焦局部区域的重要性。
• 若移除基准点 β 或忽略度量中的置信度加权，性能将下降，验证了 β ≈ 1.3 与置信度感知加权设计选择的合理性。
• 初始样本池扩展率为20%时性能最优，更高比率会导致因过度过滤信息量丰富的样本而引起性能下降。
• 第二阶段的互信息过滤显著提升性能，证明在样本选择过程中平衡类别分布的必要性。