[论文解读] The Role of Context Selection in Object Detection

Ruichi Yu, Xi Chen+2 more|arXiv (Cornell University)|Sep 9, 2016

Advanced Image and Video Retrieval Techniques参考文献 22被引用 11

一句话总结

本文提出一种基于区域的上下文重评分方法，结合动态上下文选择机制，通过过滤噪声上下文区域并突出有用区域，提升目标检测性能。利用潜在SVM学习基于支持性与反驳性证据的选择策略，该方法在SUN RGB-D数据集上相较仅依赖外观的检测方法（45.47%）实现了2.8%的mAP提升（48.25%），证明了选择性上下文相较于无差别使用上下文的关键作用。

ABSTRACT

We investigate the reasons why context in object detection has limited utility by isolating and evaluating the predictive power of different context cues under ideal conditions in which context provided by an oracle. Based on this study, we propose a region-based context re-scoring method with dynamic context selection to remove noise and emphasize informative context. We introduce latent indicator variables to select (or ignore) potential contextual regions, and learn the selection strategy with latent-SVM. We conduct experiments to evaluate the performance of the proposed context selection method on the SUN RGB-D dataset. The method achieves a significant improvement in terms of mean average precision (mAP), compared with both appearance based detectors and a conventional context model without the selection scheme.

研究动机与目标

• 探究为何尽管理论上具有优势，上下文在目标检测中常无法提升性能。
• 在理想化的、由预言者提供标签的条件下，隔离并评估上下文线索的预测能力。
• 开发一种动态选择信息性上下文区域、同时过滤噪声或无关区域的方法。
• 通过选择性上下文证据重新评分目标检测置信度，而非无差别地使用所有检测区域，从而提升检测准确率。
• 证明在目标检测中，上下文选择本身而非仅上下文的存在，才是性能提升的关键。

提出的方法

• 为每个潜在的上下文区域引入潜在指示变量，以建模其是否应被选中用于上下文推理。
• 提出双流置信度估计：基于所选区域的‘支持’上界（支持性证据）与‘反对’上界（反驳性证据）。
• 根据‘支持’与‘反对’上界之间的差异，对目标对象的置信度分数进行重评分。
• 利用潜在SVM学习选择策略，通过处理潜在变量，联合优化检测与上下文选择。
• 模型在SUN RGB-D数据集上进行训练与评估，模拟阶段使用真实标签作为上下文对象的标签，评估阶段使用真实检测结果。
• 该方法通过强调提供强而可靠证据的区域，动态地对目标检测置信度进行重评分。

实验结果

研究问题

• RQ1 为何尽管理论上具有优势，上下文在目标检测中常无法提升性能？
• RQ2 哪些上下文对象类别对给定目标对象类别最具预测力，其预测能力如何变化？
• RQ3 在真实检测场景中，动态上下文选择机制是否能优于简单的‘全选’上下文模型？
• RQ4 当与基于外观的检测器结合时，上下文选择在多大程度上能提升检测mAP？
• RQ5 学习得到的上下文选择模型在多大程度上能逼近已知所有真正正样本上下文区域的预言者模型的性能上限？

主要发现

• 在理想化设置下，由预言者提供标签时，仅依赖上下文本身即可实现高预测准确率，证明了上下文本身具有强大的内在预测能力。
• 不同对象类别在预测目标类别方面的能力差异显著，部分（如床、沙发对靠垫）具有高度信息量，而另一些（如箱子、画作）则无信息量或具有误导性。
• 所提出的上下文选择模型在SUN RGB-D测试集上达到48.25%的mAP，相较仅依赖外观的检测方法（45.47%）提升了2.8%。
• 基于预言者的上下文选择模型（CS-O）达到49.43%的mAP，作为性能上限，所提方法接近达到该性能。
• 该模型以高精度选择信息性区域：对于靠垫，92%被选中的上下文对象为真正例（如床、沙发）；对于书架，97%为真正例（如书桌、桌子）。
• 可视化结果证实，该模型仅选择相关且高证据强度的区域（如靠垫对应床、沙发），同时拒绝干扰项（如箱子、画作）。