[论文解读] An Adaptive Supervision Framework for Active Learning in Object Detection

Sai Vikas Desai, Akshay L Chandra+3 more|arXiv (Cornell University)|Aug 7, 2019

Machine Learning and Algorithms参考文献 26被引用 23

一句话总结

本文提出了一种用于目标检测主动学习的自适应监督框架，通过首先使用弱标签（如图像级标签或点击标签），仅在必要时才升级为强边界框标注，从而降低标注成本。通过根据模型不确定性在弱监督与强监督之间动态切换，该方法在模型架构改动极小的情况下，实现了SOTA性能，与标准主动学习相比，标注时间最多节省34小时（减少24%）。

ABSTRACT

Active learning approaches in computer vision generally involve querying strong labels for data. However, previous works have shown that weak supervision can be effective in training models for vision tasks while greatly reducing annotation costs. Using this knowledge, we propose an adaptive supervision framework for active learning and demonstrate its effectiveness on the task of object detection. Instead of directly querying bounding box annotations (strong labels) for the most informative samples, we first query weak labels and optimize the model. Using a switching condition, the required supervision level can be increased. Our framework requires little to no change in model architecture. Our extensive experiments show that the proposed framework can be used to train good generalizable models with much lesser annotation costs than the state of the art active learning approaches for object detection.

研究动机与目标

• 通过结合主动学习与弱监督，降低训练深度目标检测器的高标注成本。
• 通过引入动态监督切换机制，在主动学习中最小化对昂贵且耗时的边界框标注的依赖。
• 在显著降低标注预算的同时，保持模型的泛化性能，适用于主动学习与被动学习两种场景。
• 证明交错使用弱监督与强监督可提高效率，且无需对现有目标检测模型的架构进行修改。

提出的方法

• 该框架采用基于池的主动学习设置，初始阶段查询弱标签（如图像级标签或目标中心点击），而非完整的边界框。
• 当模型不确定性超过阈值 γ=0.3 时，通过硬切换机制在回合级别触发向强监督的转换。
• 通过软切换机制实现在回合内部基于预测置信度的切换，使用概率阈值 δ=0.85 决定是否查询强标签。
• 该方法利用模型预测输出来指导监督级别选择，避免对模型架构进行额外修改。
• 该框架在 PASCAL VOC 2007、VOC 2012 以及一个具有高实例数的真实农业数据集上进行了评估。
• 主动学习迭代执行，直至标注预算（50小时）耗尽，测试了不同查询策略（平均熵、最大间隔、最小置信度）。

实验结果

研究问题

• RQ1 弱监督能否有效整合到目标检测的主动学习中以降低标注成本？
• RQ2 在弱监督与强监督之间动态切换如何影响模型性能与标注效率？
• RQ3 与标准的完全监督主动学习（PBAL）相比，自适应监督对主动学习性能有何影响？
• RQ4 所提出的框架在被动学习（随机采样）设置中是否仍能保持性能优势？
• RQ5 硬切换与软切换的阈值如何影响标注成本、标签质量与收敛速度之间的权衡？

主要发现

• 在平均熵采样下，软切换方法在34小时内达到测试mAP为0.68，相比标准PBAL（45小时）节省了24%的标注预算。
• 硬切换方法相比PBAL节省了15.5%（38小时），表明在不同查询策略下均能实现稳定的成本降低。
• 在被动学习（随机采样）中，软切换将标注时间减少至30.4小时即可达到mAP=0.53，而标准PBAL需35小时，实现13.1%的节省。
• 消融实验表明，即使在无主动采样条件下，自适应监督仍能提升效率，证明其在主动学习之外也具有通用性。
• 在所有主动采样策略下，软切换机制均优于硬切换和标准PBAL，展现出更强的鲁棒性与有效性。
• 该框架在无需架构修改的情况下实现了显著的标注成本降低——最高节省24%，具有实际部署的可行性。