[论文解读] Weakly-supervised Discovery of Visual Pattern Configurations

Hyun Oh Song, Yong Jae Lee+2 more|arXiv (Cornell University)|Jun 25, 2014

Advanced Image and Video Retrieval Techniques参考文献 31被引用 103

一句话总结

本文提出了一种弱监督方法，通过受约束的子模优化，发现具有判别性的视觉模式配置——即非重叠的、基于部件的补丁组合。通过识别具有空间意义的、共同出现的判别性部件配置，该方法在 PASCAL VOC 上提升了目标检测的准确性，通过生成信息丰富的难负样本并减少定位误差，实现了最先进性能，且无需强监督信号。

ABSTRACT

The increasing prominence of weakly labeled data nurtures a growing demand for object detection methods that can cope with minimal supervision. We propose an approach that automatically identifies discriminative configurations of visual patterns that are characteristic of a given object class. We formulate the problem as a constrained submodular optimization problem and demonstrate the benefits of the discovered configurations in remedying mislocalizations and finding informative positive and negative training examples. Together, these lead to state-of-the-art weakly-supervised detection results on the challenging PASCAL VOC dataset.

研究动机与目标

• 解决弱监督目标检测中因依赖单一、通常为部件级的判别性补丁而引起的定位错误问题。
• 通过识别频繁出现且空间一致的视觉模式配置，而非孤立区域，提升检测的鲁棒性。
• 从检测到的配置中生成高质量的难负样本，以优化检测器训练。
• 仅使用图像级别标注，在 PASCAL VOC 上实现最先进性能，无需实例级别的边界框监督。

提出的方法

• 将判别性视觉模式的发现建模为在拟阵交集约束下最大化子模函数的受约束子模优化问题。
• 采用判别性覆盖公式，识别在正样本图像中频繁出现但在负样本中罕见的补丁。
• 应用独立性约束，避免选择重叠或冗余的补丁，确保所选配置多样化且无重复。
• 在变换空间（平移、尺度、宽高比）中采用分箱方案，对相似补丁进行分组，以识别共现配置。
• 构建图 $\mathcal{G}_P$，其中节点代表检测到的部件，边代表共现频率，高阶节点表示显著的配置。
• 通过选择与配置 IoU 较低的区域，利用发现的配置生成难负样本，从而提升检测器的泛化能力。

实验结果

研究问题

• RQ1 我们能否通过发现多个判别性视觉模式的配置，而非依赖单一补丁，来提升弱监督目标检测的性能？
• RQ2 如何确保所选视觉模式非重叠且无冗余，同时保持空间一致性？
• RQ3 与单补丁检测器相比，所发现的配置在完整物体的空间覆盖上有多大程度的提升？
• RQ4 与传统方法相比，这些配置能否生成更具信息量的难负样本？
• RQ5 所提出的方法是否仅使用图像级别监督就在 PASCAL VOC 上实现了最先进性能？

主要发现

• 该方法在 PASCAL VOC 2007 测试集上使用线性 SVM 达到了 24.6% 的最先进平均精度（mAP），优于以往的弱监督方法。
• 在行人类别上，该方法使用 SVM 达到 21.2% mAP，使用 LSVM 达到 14.8%，显著优于此前最佳的 9.1%。
• 与使用邻近负区域相比，引入发现的难负样本使 mAP 提升了 0.9%（SVM）和 0.9%（LSVM），证明了其信息量的优越性。
• 该方法一致地发现了有意义的配置，如人物的“面部-躯干”、自行车的“车轮-车身”以及汽车的“车窗-车架”，如定性结果所示。
• 通过组合非重叠的部件配置，该方法减少了定位错误，覆盖了更完整的物体。
• 拟阵交集约束有效防止了冗余补丁的选择，从而实现了多样化且具有空间意义的部件组合发现。