[论文解读] Entropy-based Active Learning for Object Detection with Progressive Diversity Constraint

Jiaxi Wu, Jiaxin Chen+1 more|arXiv (Cornell University)|Apr 17, 2022

Image Processing Techniques and Applications被引用 4

一句话总结

本文提出了一种用于目标检测的新型混合主动学习方法，通过两阶段框架结合实例级不确定性与多样性：利用基于熵的非极大值抑制（ENMS）进行不确定性估计，以及采用多样原型（DivProto）策略实现渐进式的类内与类间多样性。该方法在 MS COCO 和 Pascal VOC 上实现了最先进性能，显著优于现有方法，在保持计算效率的同时平衡了信息量与代表性。

ABSTRACT

Active learning is a promising alternative to alleviate the issue of high annotation cost in the computer vision tasks by consciously selecting more informative samples to label. Active learning for object detection is more challenging and existing efforts on it are relatively rare. In this paper, we propose a novel hybrid approach to address this problem, where the instance-level uncertainty and diversity are jointly considered in a bottom-up manner. To balance the computational complexity, the proposed approach is designed as a two-stage procedure. At the first stage, an Entropy-based Non-Maximum Suppression (ENMS) is presented to estimate the uncertainty of every image, which performs NMS according to the entropy in the feature space to remove predictions with redundant information gains. At the second stage, a diverse prototype (DivProto) strategy is explored to ensure the diversity across images by progressively converting it into the intra-class and inter-class diversities of the entropy-based class-specific prototypes. Extensive experiments are conducted on MS COCO and Pascal VOC, and the proposed approach achieves state of the art results and significantly outperforms the other counterparts, highlighting its superiority.

研究动机与目标

• 为解决目标检测中的高标注成本问题，开发一种能选择更具信息量的未标注图像的主动学习策略。
• 以计算高效的方式联合优化实例级不确定性与跨图像多样性。
• 通过确保图像采集的平衡与代表性，以更少的标注样本提升模型性能。
• 通过在实例级别整合不确定性与多样性原则，克服现有基于不确定性和基于多样性方法的局限性。

提出的方法

• 提出基于熵的非极大值抑制（ENMS），通过在特征空间中基于熵抑制冗余目标实例，以估计图像级不确定性。
• 对每张图像应用 ENMS 以优化实例级不确定性，其中抑制后熵值越高，表示选择优先级越高。
• 提出一种多样原型（DivProto）策略，将类别特定实例聚合为原型，以强制实现类内与类间多样性。
• 利用基于熵的类别特定原型，渐进式地选择能增强类别内与类别间多样性的图像。
• 实施两阶段流程：首先使用 ENMS 进行不确定性过滤，然后使用 DivProto 进行多样性感知的图像选择。
• 通过在原型层面实施多样性约束，而非所有成对实例比较，以平衡计算成本。

实验结果

研究问题

• RQ1 如何在目标检测的主动学习中有效结合实例级不确定性与多样性？
• RQ2 是否可通过分离不确定性估计与多样性实施的两阶段框架，在降低计算成本的同时提升性能？
• RQ3 在原型层面实现渐进多样性在多大程度上能增强模型泛化能力与标签效率？
• RQ4 与仅基于不确定性的基线和仅基于多样性的基线相比，所提方法在准确率与样本效率方面表现如何？

主要发现

• 所提方法在 MS COCO 和 Pascal VOC 基准上均实现了最先进性能，显著优于现有目标检测主动学习方法。
• 在 MS COCO 的 30% 标注周期下，该方法在 DivProto 模块最优超参数 α=0.5 和 β=0.75 时达到最高平均精度（mAP）。
• ENMS 与 DivProto 的结合显著降低了 80 个 COCO 类别的实例数量标准差，表明所选子集在类别间更具平衡性。
• 计算效率显著提升：该方法的图像获取时间（1,015 秒）比原始实例级多样性计算的上限（9.95×10⁷ 秒）减少了 99%以上。
• 该方法优于随机采样与基础熵值选择方法，在包括 ResNet-101 在内的多种主干网络上均表现出一致的性能提升。
• 通过 t-SNE 可视化证实，DivProto 生成的原型比熵基线更具代表性与多样性，其类别间标准差更高。