[论文解读] Collaborative Learning for Weakly Supervised Object Detection

Jiajie Wang, Jiangchao Yao+2 more|ArXiv.org|Feb 10, 2018

Advanced Neural Network Applications参考文献 16被引用 11

一句话总结

本文提出了一种弱监督协同学习（WSCL）框架，通过共享特征和预测一致性损失，联合训练一个弱监督检测器（类似WSDDN）与一个强监督检测器（类似Faster R-CNN），在PASCAL VOC 2007和2012上实现了最先进性能，实现了无需强标注的相互增强。

ABSTRACT

Weakly supervised object detection has recently received much attention, since it only requires image-level labels instead of the bounding-box labels consumed in strongly supervised learning. Nevertheless, the save in labeling expense is usually at the cost of model accuracy. In this paper, we propose a simple but effective weakly supervised collaborative learning framework to resolve this problem, which trains a weakly supervised learner and a strongly supervised learner jointly by enforcing partial feature sharing and prediction consistency. For object detection, taking WSDDN-like architecture as weakly supervised detector sub-network and Faster-RCNN-like architecture as strongly supervised detector sub-network, we propose an end-to-end Weakly Supervised Collaborative Detection Network. As there is no strong supervision available to train the Faster-RCNN-like sub-network, a new prediction consistency loss is defined to enforce consistency of predictions between the two sub-networks as well as within the Faster-RCNN-like sub-networks. At the same time, the two detectors are designed to partially share features to further guarantee the model consistency at perceptual level. Extensive experiments on PASCAL VOC 2007 and 2012 data sets have demonstrated the effectiveness of the proposed framework.

研究动机与目标

• 通过实现相互学习来弥合弱监督与强监督检测器之间的准确率差距。
• 开发一种统一的训练框架，在利用图像级标签的同时提升检测性能。
• 通过与强监督检测器协同，改进弱监督检测中的特征表示与边界框质量。
• 通过一致性约束，消除对昂贵实例级标注的依赖，仅使用图像级标签训练强检测器。

提出的方法

• 采用双流架构，集成一个类似WSDDN的弱监督检测器与一个类似Faster R-CNN的强监督检测器。
• 在两个子网络之间强制实施部分特征共享，以对齐感知表征。
• 引入一种新颖的预测一致性损失，用于对齐两个检测器之间的实例级预测结果，以及Faster R-CNN子网络内部的预测。
• 该框架仅使用图像级标签作为监督信号，端到端地训练两个检测器。
• 弱监督检测器使用标准分类损失进行训练，而强监督检测器则通过一致性损失进行优化。
• 协同学习过程使强监督检测器在未直接访问边界框标注的情况下实现性能提升。

实验结果

研究问题

• RQ1 能否通过利用弱监督检测器的知识，仅使用图像级标签有效训练一个强监督检测器？
• RQ2 通过特征共享与预测一致性进行联合训练，如何提升弱监督目标检测的检测精度？
• RQ3 与独立的弱监督方法相比，协同学习在多大程度上增强了特征表示与边界框定位能力？
• RQ4 统一框架是否能超越采用弱检测器伪标签训练强检测器的级联或顺序方法？
• RQ5 在检测器之间强制实施一致性，是否能产生比标准弱监督方法更紧凑、更准确的边界框？

主要发现

• 所提出的强监督检测器（CL_S）在PASCAL VOC 2012上达到43.3% mAP，优于所有对比的最先进方法。
• 在PASCAL VOC 2007上，CL_S达到49.4% mAP与67.5% CorLoc，mAP与CorLoc分别较之前方法提升超过7.1%与4.1%。
• 经过协同学习后，弱监督检测器（CL_W）显著提升，生成的边界框更紧凑，能更准确地覆盖完整物体。
• 协同学习过程使两个检测器相互增强，约12,000次迭代后，CL_S的mAP最终超越CL_W。
• 可视化结果表明，CL_S在目标定位方面比基线弱监督检测器更准确、更完整，尤其在面部、翅膀等判别性部件上表现更优。
• 预测一致性损失在缺乏真实边界框的情况下，有效指导了强监督检测器的训练，从而实现更优的泛化能力。