[论文解读] Deep Self-Taught Learning for Weakly Supervised Object Localization

Zequn Jie, Yunchao Wei+3 more|arXiv (Cornell University)|Apr 18, 2017

Indoor and Outdoor Localization Technologies参考文献 22被引用 28

一句话总结

本文提出了一种用于弱监督目标定位的深度自教学习框架，通过使用相对分数提升度量在线收集高置信度正样本提案，迭代提升检测器性能。结合图像到目标的迁移学习用于种子提案生成与密集子图发现，该方法优于现有最先进方法，在PASCAL VOC 2007上达到56.1%的CorLoc，在PASCAL 2007+2012联合训练集上达到43.7%的mAP。

ABSTRACT

Most existing weakly supervised localization (WSL) approaches learn detectors by finding positive bounding boxes based on features learned with image-level supervision. However, those features do not contain spatial location related information and usually provide poor-quality positive samples for training a detector. To overcome this issue, we propose a deep self-taught learning approach, which makes the detector learn the object-level features reliable for acquiring tight positive samples and afterwards re-train itself based on them. Consequently, the detector progressively improves its detection ability and localizes more informative positive samples. To implement such self-taught learning, we propose a seed sample acquisition method via image-to-object transferring and dense subgraph discovery to find reliable positive samples for initializing the detector. An online supportive sample harvesting scheme is further proposed to dynamically select the most confident tight positive samples and train the detector in a mutual boosting way. To prevent the detector from being trapped in poor optima due to overfitting, we propose a new relative improvement of predicted CNN scores for guiding the self-taught learning process. Extensive experiments on PASCAL 2007 and 2012 show that our approach outperforms the state-of-the-arts, strongly validating its effectiveness.

研究动机与目标

• 解决现有弱监督定位方法因CNN特征缺乏空间信息而依赖低质量正样本的问题。
• 开发一种自教学习范式，使检测器通过重新训练自身识别出的高质量、紧密定位的正样本，逐步提升性能。
• 通过引入相对改进度量来筛选高置信样本，防止对低质量种子样本的过拟合。
• 通过图像到目标的迁移学习与密集子图发现提升种子正样本提案的质量，利用空间相关性。

提出的方法

• 提出一种图像到目标的迁移技术，利用多标签分类网络的响应识别目标类别高置信度的物体提案。
• 应用密集子图发现（DSD）从初始集合中基于空间相关性选择空间分布均匀、高质量的种子正样本提案。
• 引入在线支持样本收集（OSSH）方案，利用检测器自身的预测分数动态选择最紧凑、最置信的正样本提案。
• 采用一种新颖的CNN分数相对改进度量，过滤掉过拟合样本，避免训练过程中陷入不良局部最优。
• 在检测器训练与在线样本收集之间交替进行，形成相互增强的循环，逐步优化定位质量。
• 使用Fast R-CNN作为检测器主干网络，并端到端训练所提出的自教学习流程。

实验结果

研究问题

• RQ1 检测器能否通过自我识别高质量正样本提案，实现定位性能的迭代提升？
• RQ2 预测CNN分数的相对改进度量能否有效防止对低质量种子样本的过拟合？
• RQ3 将图像到目标的迁移学习与密集子图发现相结合，是否能产生优于传统方法的初始种子提案？
• RQ4 在线支持样本收集是否能在弱监督目标定位中超越离线的MIL基提案挖掘方法？

主要发现

• 所提方法在PASCAL VOC 2007训练验证集上达到56.1%的CorLoc，优于所有先前基于MIL和端到端WSL的方法。
• 在PASCAL VOC 2007测试集上，该方法达到41.7%的mAP，超越所有最先进方法；当在PASCAL 2007和2012数据集上联合训练时，mAP进一步提升至43.7%。
• 在PASCAL VOC 2012上，该方法在mAP上比之前最先进方法高出近10个百分点（联合训练数据下达到39.4% mAP），且在训练验证集上CorLoc高出4个百分点。
• 消融实验表明，与使用绝对分数相比，在OSSH中使用相对分数改进度量可显著提升性能，当在三个训练周期内应用OSSH时，CorLoc从53.2%提升至56.1%。
• 定性结果表明，该方法能逐步定位到更紧凑、更准确的边界框，通过迭代优化修正初始种子样本中的误报。
• 结合HCP、DSD与OSSH的相对改进机制，实现了最佳的定位精度，验证了该流程中各组件的有效性。