[论文解读] Deep Learning for Weakly-Supervised Object Detection and Object Localization: A Survey

Feifei Shao, Long Chen+6 more|arXiv (Cornell University)|May 26, 2021

Advanced Neural Network Applications参考文献 86被引用 9

一句话总结

本综述全面概述了自2016年以来弱监督目标检测（WSOD）与定位（WSOL）的深度学习方法，涵盖关键方法、技术、基准数据集与评估指标。它识别出核心挑战，分析了先进的训练技巧，并展望了医学影像、3D检测与视频目标检测等未来方向，为实现最小监督下的WSOD性能提升提供了关键路线图。

ABSTRACT

Weakly-Supervised Object Detection (WSOD) and Localization (WSOL), i.e., detecting multiple and single instances with bounding boxes in an image using image-level labels, are long-standing and challenging tasks in the CV community. With the success of deep neural networks in object detection, both WSOD and WSOL have received unprecedented attention. Hundreds of WSOD and WSOL methods and numerous techniques have been proposed in the deep learning era. To this end, in this paper, we consider WSOL is a sub-task of WSOD and provide a comprehensive survey of the recent achievements of WSOD. Specifically, we firstly describe the formulation and setting of the WSOD, including the background, challenges, basic framework. Meanwhile, we summarize and analyze all advanced techniques and training tricks for improving detection performance. Then, we introduce the widely-used datasets and evaluation metrics of WSOD. Lastly, we discuss the future directions of WSOD. We believe that these summaries can help pave a way for future research on WSOD and WSOL.

研究动机与目标

• 系统性地回顾并分类自2016年以来弱监督目标检测（WSOD）与定位（WSOL）方法的演进。
• 识别并分析WSOD中的主要挑战，包括类别无关定位与噪声激活图问题。
• 总结提升WSOD性能的先进技术与训练技巧，适用于不同网络架构与设置。
• 介绍广泛使用的数据集与标准评估指标，用于WSOD模型的基准测试。
• 探索在医学影像、3D目标检测与视频目标检测中，弱监督设置下的未来研究方向。

提出的方法

• 本文调研了超过100种WSOD与WSOL方法，将其分类为多重实例学习（MIL）、类别激活映射（CAM）及基于区域提议的方法等类别。
• 分析WSOD框架的核心组件，包括使用深度卷积神经网络（CNN）进行特征提取、区域提议生成（如选择性搜索、边缘框）以及通过注意力或池化机制实现定位。
• 研究CAM优化、空间注意力与伪标签等技术，以提升从图像级监督中获取的定位精度。
• 评估多尺度推理、对抗性训练与级联网络等训练策略在优化目标提议方面的有效性。
• 对WSDDN、OICR、WILDCAT与WCCN等模型架构进行详细分析，突出其设计选择与性能权衡。
• 比较不同损失函数与训练协议，包括在弱监督设置中使用交叉熵与对比学习。

实验结果

研究问题

• RQ1 不同弱监督目标检测框架（如基于MIL、基于CAM）在定位精度与鲁棒性方面如何比较？
• RQ2 在缺乏实例级标注的情况下，哪些技术与训练技巧最有效地提升WSOD性能？
• RQ3 当前基准与评估指标（如PASCAL VOC上的mAP）如何反映WSOD模型的进展与局限？
• RQ4 将WSOD扩展至复杂领域（如3D点云与视频序列）面临哪些关键挑战？
• RQ5 WSOD最具前景的未来方向是什么，特别是在医学影像与轻量化部署方面？

主要发现

• 最先进WSOD方法在PASCAL VOC 2007数据集上达到54.9%的平均精度（mAP），显著低于全监督检测器的86.9% mAP。
• 注意力机制、伪标签与级联网络等技术通过优化目标提议，显著提升了定位精度。
• 使用类别激活图（CAM）与Grad-CAM可实现从图像级标签的定位，但常因边界框粗糙或不准确而受限。
• OICR与WCCN等方法通过端到端弱监督训练学习判别性区域，展现出性能提升。
• 轻量化网络设计正成为关键方向，以支持在计算资源有限的移动与边缘设备上部署。
• 未来在3D目标检测与医学影像中的应用潜力巨大，尤其在MRI与X光扫描中实现弱监督病灶定位。