[论文解读] Localization-Aware Active Learning for Object Detection

Chieh-Chi Kao, Teng‐Yok Lee+2 more|arXiv (Cornell University)|Jan 16, 2018

Machine Learning and Algorithms被引用 8

一句话总结

本文提出了一种面向目标检测的定位感知主动学习框架，通过引入两种新型度量指标——定位紧密度（LT）和定位稳定性（LS），选择最具信息量的未标注图像，从而提升数据效率。通过将分类不确定性和定位不确定性同时纳入主动学习循环，该方法相较于基线主动学习方法，将所需标注训练数据减少了最多25%，并在PASCAL VOC 2007和2012上分别实现了96.5%和81.9%的相对性能提升。

ABSTRACT

Active learning - a class of algorithms that iteratively searches for the most informative samples to include in a training dataset - has been shown to be effective at annotating data for image classification. However, the use of active learning for object detection is still largely unexplored as determining informativeness of an object-location hypothesis is more difficult. In this paper, we address this issue and present two metrics for measuring the informativeness of an object hypothesis, which allow us to leverage active learning to reduce the amount of annotated data needed to achieve a target object detection performance. Our first metric measures 'localization tightness' of an object hypothesis, which is based on the overlapping ratio between the region proposal and the final prediction. Our second metric measures 'localization stability' of an object hypothesis, which is based on the variation of predicted object locations when input images are corrupted by noise. Our experimental results show that by augmenting a conventional active-learning algorithm designed for classification with the proposed metrics, the amount of labeled training data required can be reduced up to 25%. Moreover, on PASCAL 2007 and 2012 datasets our localization-stability method has an average relative improvement of 96.5% and 81.9% over the baseline method using classification only.

研究动机与目标

• 为解决目标检测中缺乏有效主动学习方法的问题，传统方法仅关注分类不确定性。
• 开发可量化评估定位不确定性的度量指标，且无需依赖真实边界框。
• 通过选择最具信息量的图像进行标注，降低数据标注的成本与工作量。
• 证明同时考虑分类与定位不确定性可实现更优的模型性能，且所需标注样本更少。
• 在PASCAL VOC 2007和2012等标准基准上验证所提方法，结果显著优于现有方法。

提出的方法

• 提出定位紧密度（LT）作为基于区域建议与最终检测框之间重叠率的度量指标，用于估计检测器对目标定位的紧密程度。
• 引入定位稳定性（LS）作为度量指标，通过在输入图像上施加高斯噪声并测量边界框的变化，评估检测器的鲁棒性。
• 将LT与LS整合进主动学习流程，基于分类与定位两方面的综合不确定性，选择未标注图像进行标注。
• 使用基线目标检测器（如Faster R-CNN）生成预测结果，并计算未标注图像的不确定性得分。
• 利用不确定性得分对图像进行排序与优先级划分，供人工标注，通过迭代方式逐步提升检测器性能。
• 采用先提议后分类的流程来估计定位紧密度，使其适用于具备显式区域建议阶段的检测器。

实验结果

研究问题

• RQ1 在无法获取真实边界框的情况下，能否对目标检测中的定位不确定性进行定量测量？
• RQ2 与仅基于分类不确定性的方法相比，引入定位不确定性后，主动学习在目标检测中的性能提升程度如何？
• RQ3 所提出的度量指标——定位紧密度与定位稳定性，在多大程度上减少了训练所需的标注图像数量？
• RQ4 所提方法是否在标准目标检测基准上优于被动学习和仅基于分类的主动学习基线方法？
• RQ5 所提度量指标对噪声以及区域建议质量变化的鲁棒性如何？

主要发现

• 与被动学习相比，所提方法在达到目标检测性能时，所需标注图像数量最多可减少25%。
• 在PASCAL VOC 2007数据集上，基于定位稳定性的方法（LS+C）相较于仅分类基线实现了96.5%的相对性能提升。
• 在PASCAL VOC 2012数据集上，LS+C方法相较于仅分类基线实现了81.9%的相对性能提升。
• 结合定位紧密度与分类不确定性（LT+C）的方法相比基线主动学习方法，将标注成本降低了12%至22%。
• 即使在缺乏真实定位信息的情况下，该方法依然有效，因为估计的定位紧密度与真实值具有合理相关性，尤其在区域建议接近最终检测框时表现更佳。
• 计算这些度量指标的计算开销远小于标注过程节省的时间，因此尽管增加了复杂性，该方法在成本效益上依然具有优势。