[论文解读] PCL: Proposal Cluster Learning for Weakly Supervised Object Detection

Peng Tang, Xinggang Wang+5 more|arXiv (Cornell University)|Jul 9, 2018

Advanced Neural Network Applications被引用 17

一句话总结

本文提出PCL（提案聚类学习），一种新颖的弱监督目标检测框架，通过将空间上相邻的物体提案聚类为簇，并通过迭代在线训练优化实例分类器，从而提升检测精度。通过将每个簇视为一个小型包（mini-bag），该方法减少了标注歧义性，防止模型聚焦于物体局部区域，进而在PASCAL VOC、ImageNet和MS-COCO基准上达到最先进性能。

ABSTRACT

Weakly Supervised Object Detection (WSOD), using only image-level annotations to train object detectors, is of growing importance in object recognition. In this paper, we propose a novel deep network for WSOD. Unlike previous networks that transfer the object detection problem to an image classification problem using Multiple Instance Learning (MIL), our strategy generates proposal clusters to learn refined instance classifiers by an iterative process. The proposals in the same cluster are spatially adjacent and associated with the same object. This prevents the network from concentrating too much on parts of objects instead of whole objects. We first show that instances can be assigned object or background labels directly based on proposal clusters for instance classifier refinement, and then show that treating each cluster as a small new bag yields fewer ambiguities than the directly assigning label method. The iterative instance classifier refinement is implemented online using multiple streams in convolutional neural networks, where the first is an MIL network and the others are for instance classifier refinement supervised by the preceding one. Experiments are conducted on the PASCAL VOC, ImageNet detection, and MS-COCO benchmarks for WSOD. Results show that our method outperforms the previous state of the art significantly.

研究动机与目标

• 解决现有弱监督目标检测方法在多实例学习（MIL）框架下因局部激活而关注物体部分而非完整物体的局限性。
• 通过将提案聚合成空间上一致的簇，每个簇对应单一物体，从而减少标签分配的歧义性。
• 通过利用簇级监督信息，采用在线多流训练过程迭代优化实例分类器，从而提升检测性能。
• 通过在各流之间共享特征计算，在增加复杂性的同时保持计算效率。

提出的方法

• 将提案聚合成空间簇，每个簇包含覆盖同一物体的提案，并以代表性提案为中心。
• 提出两种簇生成策略：一种基于提案得分与IoU阈值，另一种基于提案特征的类似k-means聚类。
• 将每个簇视为一个小型包，利用簇级标签优化实例分类器，相比直接对实例进行标注，可显著降低歧义性。
• 采用在线多流训练框架：一个流用于标准MIL训练，其余流用于利用前一流输出的预测结果，对实例分类器进行优化。
• 优化过程端到端实现，共享卷积特征，最大限度减少额外计算开销。
• 采用一种结合MIL约束与基于簇的监督的端到端训练变体进行模型训练。

实验结果

研究问题

• RQ1 将提案聚合成空间上一致的簇，是否能通过减少对局部区域的关注，从而提升弱监督目标检测性能？
• RQ2 将每个簇作为小型包进行监督，是否能比直接对实例进行标注带来更优的分类器优化？
• RQ3 通过簇级信号对实例分类器进行迭代在线优化，是否能显著提升检测mAP？
• RQ4 与现有基于MIL的弱监督检测器相比，该方法在准确率与效率方面表现如何？

主要发现

• 所提出的PCL方法在弱监督设置下，于PASCAL VOC 2007、ImageNet和MS-COCO基准上均达到最先进性能。
• 在PASCAL VOC 2007上，PCL实现63.7%的平均精度（mAP），显著优于此前SOTA方法3.2个百分点。
• 在MS-COCO上，该方法达到28.4% mAP，超越近期工作[57]，后者曾将本文的会议版本作为组件使用。
• 推理速度与基线MIL网络几乎完全一致，仅因簇计算导致训练时间略有增加。
• 定性结果表明，PCL生成的边界框比WSDDN和WSDDN+context更准确、更完整，尤其在刚性物体上表现更优。
• 失败案例主要源于框过大，包含相邻相似物体，或仅检测到非刚性、形变物体（如'person'或'cat'）的部分区域。