[论文解读] A Taught-Obesrve-Ask (TOA) Method for Object Detection with Critical Supervision

Chi-Hao Wu, Qin Huang+2 more|arXiv (Cornell University)|Nov 3, 2017

Advanced Neural Network Applications参考文献 32被引用 3

一句话总结

本文提出了一种用于目标检测的授课-观察-提问（Taught-Observe-Ask, TOA）方法，通过使用关键样本挖掘和机器引导的问答（QA）标注，而非完整的边界框标注，减少了标注工作量。该方法在同等标注约束条件下，实现了最先进的弱监督性能，相比完全监督学习，标注时间减少了66–95%，并在PASCAL VOC上实现了9.4%的mAP提升。

ABSTRACT

Being inspired by child's learning experience - taught first and followed by observation and questioning, we investigate a critically supervised learning methodology for object detection in this work. Specifically, we propose a taught-observe-ask (TOA) method that consists of several novel components such as negative object proposal, critical example mining, and machine-guided question-answer (QA) labeling. To consider labeling time and performance jointly, new evaluation methods are developed to compare the performance of the TOA method, with the fully and weakly supervised learning methods. Extensive experiments are conducted on the PASCAL VOC and the Caltech benchmark datasets. The TOA method provides significantly improved performance of weakly supervision yet demands only about 3-6% of labeling time of full supervision. The effectiveness of each novel component is also analyzed.

研究动机与目标

• 为了在保持高性能的同时减少目标检测中的标注工作量，受人类学习方式的启发。
• 为了开发一种关键监督学习框架，通过仅聚焦于最具信息量的样本，最小化人工标注。
• 为了整合负向目标提议（NOP）和问答（QA）标注，以替代完整的边界框标注。
• 为了在标准基准（PASCAL VOC和Caltech）上，在实际标注时间约束下评估TOA方法。
• 为了开发新的评估指标，综合考虑性能和标注时间。

提出的方法

• TOA方法采用三阶段流程：首先在少量完全标注的数据上进行初始训练，随后通过关键样本挖掘（CEM）从无标注数据中识别最具信息量的样本。
• 关键样本通过基于模型不确定性和预测置信度的动态变化规则进行选择，以指导QA标注。
• 使用问答（QA）标注代替边界框标注，将每例的标注时间从每框42秒减少到每QA对1.6秒。
• 从无标注图像中自动提取负向目标提议（NOP），以提供高质量的背景样本，而无需额外标注。
• 通过迭代方式使用QA标注的关键样本和NOP样本对模型进行再训练，并采用微调策略以避免错误传播。
• 评估了加权方案和回归组件，以优化训练稳定性和定位精度。

实验结果

研究问题

• RQ1 与完全监督学习相比，关键监督学习方法是否能在减少标注时间的同时保持或提升检测性能？
• RQ2 关键样本挖掘（CEM）在目标检测中选择最具信息量样本用于QA标注方面的有效性如何？
• RQ3 在标注效率和检测精度方面，QA标注在多大程度上优于传统的边界框标注？
• RQ4 负向目标提议（NOP）的整合在不需手动标注背景区域的情况下，如何提升模型性能？
• RQ5 在性能和标注时间之间，初始完全标注数据与后续QA标注数据的最优平衡点是什么？

主要发现

• 在相同标注时间约束下，TOA方法相比最先进的弱监督检测器，mAP提升了9.4%。
• 与完全监督学习相比，TOA方法在PASCAL VOC 2007数据集上保持了相当的检测性能，同时将标注时间减少了66–95%。
• QA标注每例仅需1.6秒，而完整边界框标注需42秒，显著加快了标注流程。
• 使用负向目标提议（NOP）可在无需额外标注的情况下实现有效的背景采样，提升了模型泛化能力。
• 从ImageNet预训练权重（PRETR=0）进行微调优于从先前阶段（PRETR=1）微调，避免了迭代训练中的错误累积。
• 对完全标注图像施加更高权重并未提升性能，表明QA标注样本本身质量已足够高。