[论文解读] Boosting Weakly Supervised Object Detection with Progressive Knowledge Transfer

Yuanyi Zhong, Jianfeng Wang+2 more|arXiv (Cornell University)|Jul 15, 2020

Advanced Neural Network Applications参考文献 37被引用 6

一句话总结

该论文提出了一种渐进式知识迁移框架，通过利用类别不重叠的完全标注源数据集（如 COCO 或 ImageNet）来迭代提升弱监督目标检测的性能。通过训练一个单类通用检测器，并在多个迭代过程中从源域和目标域中挖掘伪真实框来优化该检测器，该方法在 Pascal VOC 2007 上实现了新的最先进 mAP 59.7%，并在使用挖掘出的伪标签微调 Faster R-CNN 时达到 60.2% 的 mAP。

ABSTRACT

In this paper, we propose an effective knowledge transfer framework to boost the weakly supervised object detection accuracy with the help of an external fully-annotated source dataset, whose categories may not overlap with the target domain. This setting is of great practical value due to the existence of many off-the-shelf detection datasets. To more effectively utilize the source dataset, we propose to iteratively transfer the knowledge from the source domain by a one-class universal detector and learn the target-domain detector. The box-level pseudo ground truths mined by the target-domain detector in each iteration effectively improve the one-class universal detector. Therefore, the knowledge in the source dataset is more thoroughly exploited and leveraged. Extensive experiments are conducted with Pascal VOC 2007 as the target weakly-annotated dataset and COCO/ImageNet as the source fully-annotated dataset. With the proposed solution, we achieved an mAP of $59.7\%$ detection performance on the VOC test set and an mAP of $60.2\%$ after retraining a fully supervised Faster RCNN with the mined pseudo ground truths. This is significantly better than any previously known results in related literature and sets a new state-of-the-art of weakly supervised object detection under the knowledge transfer setting. Code: \url{https://github.com/mikuhatsune/wsod_transfer}.

研究动机与目标

• 通过利用类别不重叠的外部完全标注数据集来弥合全监督与弱监督目标检测器之间的性能差距。
• 通过迭代优化检测知识来解决源数据集中标签不完整的问题，其中目标域中的物体可能被错误地标记为背景。
• 通过用渐进式、迭代式优化过程替代一步式迁移，提升知识迁移效率，从而同时增强通用检测器和目标域检测器的性能。
• 证明从目标域进行的迭代伪标签生成可显著提升源域通用检测器的泛化能力和召回率。

提出的方法

• 该方法采用在源数据集（如 COCO-60）上训练的单类通用检测器（OCUD），用于在源域和目标域图像中检测目标类别的实例。
• 在每次迭代中，目标域的 MIL 检测器在源域和目标域图像中为目标类别生成伪真实框，随后用于重新训练 OCUD。
• 迭代优化过程在使用伪标签更新目标检测器与利用新挖掘出的正样本改进 OCUD 之间交替进行，从而增强知识迁移效果。
• 伪标签同时从源域和目标域数据集中挖掘，使 OCUD 更好地捕捉目标域物体的特征并减少漏检。
• 该框架采用两阶段训练循环：首先在源数据集上训练 OCUD；其次使用目标检测器生成伪标签并微调 OCUD，重复多轮优化。
• 最终模型在目标数据集（如 VOC 2007）上进行评估，同时挖掘出的伪标签也用于微调一个全监督的 Faster R-CNN，从而实现最先进性能。

实验结果

研究问题

• RQ1 从类别不重叠的完全标注源数据集进行渐进式知识迁移，能否显著提升弱监督目标检测的性能？
• RQ2 通过使用目标域的伪标签对单类通用检测器进行渐进式优化，能否减少误检并提升检测召回率？
• RQ3 在 mAP 提升幅度和对源数据标签不完整性鲁棒性方面，多步知识迁移与一步式迁移相比有何差异？
• RQ4 实现弱监督检测显著性能提升所需的最少源数据量是多少？

主要发现

• 当使用 COCO-60 作为源数据集时，所提出的渐进式知识迁移方法在 Pascal VOC 2007 测试集上实现了 59.7% 的 mAP，创下该迁移设置下弱监督目标检测的新 SOTA 记录。
• 在使用挖掘出的伪真实框对全监督 Faster R-CNN 进行微调后，该方法实现了 60.2% 的 mAP，甚至超过了原始使用 ZF 主干网络的全监督 Faster R-CNN（59.9% mAP）。
• 在 VOC 2007 上，mAP 从一步迁移的 54.93% 提升至五轮优化后的 59.71%，通过迭代优化实现了 4.78 个百分点的显著提升。
• 即使在具有挑战性的源数据集（COCO-60-full，即保留重叠类别但移除标注）上，该方法仍实现了超过 55% 的 mAP，表明其对标签不完整具有强鲁棒性。
• 仅使用 COCO-60 数据集的 20%（4,396 张训练图像和 194 张验证图像）即可实现超过 58% 的 mAP，表明该方法具有极高的数据效率。
• 当使用 ILSVRC-179 作为源数据集时，该方法实现了 56.46% 的 mAP，优于 COCO-60-full 但逊于 COCO-60，表明数据质量和领域一致性是关键影响因素。