[论文解读] Exploring Person Context and Local Scene Context for Object Detection

Saurabh Gupta, Bharath Hariharan+1 more|arXiv (Cornell University)|Nov 25, 2015

Advanced Image and Video Retrieval Techniques参考文献 30被引用 20

一句话总结

本文提出两种上下文感知的目标检测模型，利用人物上下文（例如人物及其配件，如球棒、手套、手机）和局部场景上下文（例如鼠标与键盘、显示器之间的空间关系）来提升检测性能，尤其针对小尺寸或被遮挡的物体。这些模型在 COCO 数据集上实现了最高 5% 的相对性能提升，小物体上达到 10% 的相对增益，通过采用空间精确、外观条件化的上下文推理，超越了基于 CNN 的最先进检测器。

ABSTRACT

In this paper we explore two ways of using context for object detection. The first model focusses on people and the objects they commonly interact with, such as fashion and sports accessories. The second model considers more general object detection and uses the spatial relationships between objects and between objects and scenes. Our models are able to capture precise spatial relationships between the context and the object of interest, and make effective use of the appearance of the contextual region. On the newly released COCO dataset, our models provide relative improvements of up to 5% over CNN-based state-of-the-art detectors, with the gains concentrated on hard cases such as small objects (10% relative improvement).

研究动机与目标

• 提升在区域建议失败的小尺寸、被遮挡或视觉模糊物体上的检测性能。
• 建模物体与上下文区域之间的精确空间关系（例如击球手姿势可指示球棒位置）。
• 引入基于外观的上下文信息，例如在推断物体位置前先识别人物为击球手。
• 探索超越全局场景标签的上下文，聚焦于局部化、动态且语义有意义的关系。
• 实现仅凭外观难以分类的物体的检测，例如鼠标或棒球棒。

提出的方法

• 人物上下文模型利用人物检测和姿态估计，基于人体姿态和外观推断配件（如球棒、手套、手机）的可能位置。
• 局部场景上下文模型利用物体检测之间的空间关系（如鼠标位于键盘下方、交通灯靠近灯柱）来优化检测分数。
• 通过多阶段推理机制集成上下文特征，其中上下文区域被逐轮添加以提升检测分数。
• 使用局部场景上下文模型的线性变体进行可视化，每一步将上下文特征按 16/t 缩放以保持可解释性。
• 模型使用预训练 CNN（如 VGG、AlexNet）的特征，并通过上下文推理优化区域建议分数，而非端到端训练。
• 该方法通过动态选择与外观和空间构型相关的上下文区域，避免硬编码的全局或局部上下文。

实验结果

研究问题

• RQ1 建模人物与其配件之间的精确空间关系是否能提升时尚品和运动配件的检测性能？
• RQ2 建模物体之间的局部场景关系（如鼠标与键盘）是否能提升通用目标检测性能？
• RQ3 在视觉特征微弱的小尺寸或被遮挡物体上，上下文推理是否带来更大性能增益？
• RQ4 当区域建议质量较差时，基于上下文的检测与最先进 CNN 检测器相比表现如何？
• RQ5 能否利用上下文推理将人物与其使用的物体关联起来，实现更丰富的场景理解？

主要发现

• 当真实框被加入建议框池时，局部场景上下文模型在 COCO 上相较于 Fast R-CNN 实现了 1.8 个百分点的绝对性能提升，表明当建议质量较差时，上下文带来的增益最为显著。
• 局部场景上下文模型将平均 AP 提升了最高 5% 相对增益，增益主要集中在 '体育'、'电子'、'电器' 和 '户外' 等超类别中。
• 对于小物体（<32×32 像素），该模型在使用 VGG 时相比 Fast R-CNN 实现了 10% 的相对提升（绝对提升 1.7 个百分点），在使用 AlexNet 时实现了 32% 的相对提升（绝对提升 2 个百分点）。
• 人物上下文模型在棒球棒、手套和风筝等类别上带来了显著增益（超过 3 个百分点），这些类别对标准检测器而言难以识别。
• 当存在上下文信息时，模型能够检测到 Fast R-CNN 错过的物体，如小型或被遮挡的物体（如交通灯、烤面包机、运动球）。
• 性能提升具有统计显著性（p < 0.01），证实即使在深度学习时代，上下文推理仍能带来一致且可测量的性能增益。