[论文解读] Mixed Supervised Object Detection with Robust Objectness Transfer

Yan Li, Junge Zhang+2 more|arXiv (Cornell University)|Feb 27, 2018

Advanced Neural Network Applications参考文献 38被引用 5

一句话总结

本文提出了一种用于混合监督目标检测的鲁棒目标存在性迁移方法，通过利用完全标注类别中的领域不变目标存在性知识，提升对新类别弱监督检测的性能。通过在不同领域间学习不变特征，并将其整合到多实例学习框架中，该方法显著减少了由干扰物引起的误报，且在ILSVRC2013和PASCAL VOC数据集上达到了最先进性能。

ABSTRACT

In this paper, we consider the problem of leveraging existing fully labeled categories to improve the weakly supervised detection (WSD) of new object categories, which we refer to as mixed supervised detection (MSD). Different from previous MSD methods that directly transfer the pre-trained object detectors from existing categories to new categories, we propose a more reasonable and robust objectness transfer approach for MSD. In our framework, we first learn domain-invariant objectness knowledge from the existing fully labeled categories. The knowledge is modeled based on invariant features that are robust to the distribution discrepancy between the existing categories and new categories; therefore the resulting knowledge would generalize well to new categories and could assist detection models to reject distractors (e.g., object parts) in weakly labeled images of new categories. Under the guidance of learned objectness knowledge, we utilize multiple instance learning (MIL) to model the concepts of both objects and distractors and to further improve the ability of rejecting distractors in weakly labeled images. Our robust objectness transfer approach outperforms the existing MSD methods, and achieves state-of-the-art results on the challenging ILSVRC2013 detection dataset and the PASCAL VOC datasets.

研究动机与目标

• 为解决弱监督检测（WSD）中的挑战，即目标检测器常将共现的干扰物（如物体部件或上下文元素）误认为目标。
• 通过利用现有完全标注类别，提升对无边界框标注的新目标类别的检测性能。
• 从强类别中学习领域不变的目标存在性知识，使其能泛化至未见的弱类别。
• 开发一种方法，鲁棒地将目标存在性知识迁移至新类别，以减少弱标注图像中的误报。
• 通过显式建模目标与干扰物，实现基于目标存在性感知的多实例学习，超越现有混合监督检测（MSD）方法。

提出的方法

• 通过在完全标注的强类别上训练特征提取器，最小化强类别与弱类别之间的分布差异，学习领域不变的目标存在性知识。
• 使用深度神经网络建模目标存在性，学习基于完整性和物体相似性对区域进行打分，同时使特征对领域漂移保持不变。
• 采用多实例学习（MIL）框架，将每张图像视为区域的集合（bag），模型利用学习到的目标存在性知识区分真实目标区域与干扰物。
• 目标存在性感知的MIL模型联合优化图像级别分类与区域级别检测，利用目标存在性分数作为先验，抑制误报。
• 领域不变的目标存在性模型在目标类别与非目标背景物体上进行训练，使其在复杂场景中对干扰物具有鲁棒性。
• 最终检测器通过端到端训练，联合损失函数结合分类与定位目标，由鲁棒的目标存在性先验引导。

实验结果

研究问题

• RQ1 能否从完全标注类别中有效学习领域不变的目标存在性知识，以提升对新弱标注类别的检测性能？
• RQ2 如何在强类别与弱类别之间存在分布差异的场景下，鲁棒地实现目标存在性知识的跨领域迁移？
• RQ3 目标存在性感知的多实例学习能否减少弱监督检测中由物体部件和上下文干扰物引起的误报？
• RQ4 所提方法是否在ILSVRC2013和PASCAL VOC等基准数据集上超越现有混合监督检测方法？
• RQ5 该方法的失败模式是什么？其与场景复杂度及多目标共现的关系如何？

主要发现

• 所提方法在ILSVRC2013检测数据集上达到最先进性能，优于现有MSD方法。
• 在PASCAL VOC 2007测试集上，与基线WSD模型相比，该方法显著减少了由物体部件（如'猫脸'、'带水的船'）引起的误报。
• 由于对背景和非目标物体建模更优，领域不变的目标存在性模型在前15%区域中产生的物体部件更少，优于标准目标存在性模型。
• 该方法在新类别上表现出优越的泛化能力，即使这些类别未出现在强类别的训练分布中。
• 失败案例主要源于重叠物体（如'椅子'与'桌子'、'人'与'自行车'）或边界模糊，这些是弱监督设定中的固有挑战。
• 消融研究证实，领域不变的目标存在性学习对鲁棒性至关重要，若移除该模块，尤其在干扰物密集的图像中性能显著下降。