[论文解读] Learning Detection with Diverse Proposals

Samaneh Azadi, Jiashi Feng+1 more|arXiv (Cornell University)|Apr 11, 2017

Advanced Neural Network Applications参考文献 5被引用 6

一句话总结

本文提出学习检测中的多样化提议（LDDP），一种可微分的行列式点过程（DPP）层，通过在区域提议中促进多样性来提升目标检测性能。通过建模提议之间的语义和空间关系，LDDP在不增加模型参数的情况下提升了定位和分类准确率，即使仅使用Faster R-CNN约30%的提议，也能实现最先进性能。

ABSTRACT

To predict a set of diverse and informative proposals with enriched representations, this paper introduces a differentiable Determinantal Point Process (DPP) layer that is able to augment the object detection architectures. Most modern object detection architectures, such as Faster R-CNN, learn to localize objects by minimizing deviations from the ground-truth but ignore correlation between multiple proposals and object categories. Non-Maximum Suppression (NMS) as a widely used proposal pruning scheme ignores label- and instance-level relations between object candidates resulting in multi-labeled detections. In the multi-class case, NMS selects boxes with the largest prediction scores ignoring the semantic relation between categories of potential election. In contrast, our trainable DPP layer, allowing for Learning Detection with Diverse Proposals (LDDP), considers both label-level contextual information and spatial layout relationships between proposals without increasing the number of parameters of the network, and thus improves location and category specifications of final detected bounding boxes substantially during both training and inference schemes. Furthermore, we show that LDDP keeps it superiority over Faster R-CNN even if the number of proposals generated by LDPP is only ~30% as many as those for Faster R-CNN.

研究动机与目标

• 为解决现代目标检测器（如Faster R-CNN）忽略提议之间相关性、依赖NMS剔除语义和空间上相关的检测结果的局限性。
• 通过使用可微分DPP层显式建模提议间的多样性，提升目标检测性能，该层可捕捉标签级别和空间布局关系。
• 通过用基于DPP的选择替代NMS，同时考虑质量分数、类别相似性和空间重叠，来提升训练和推理性能。
• 证明更少数量的高质量、多样化提议可优于大量冗余提议，在检测准确率上表现更优。
• 提供一种即插即用、端到端可训练的模块，兼容现有检测架构（如Faster R-CNN）。

提出的方法

• 引入一种可微分DPP层，计算提议子集的概率分布，倾向于选择多样化且高质量的检测结果。
• 使用由质量分数矩阵和语义相似性矩阵组成的核矩阵L，来建模提议之间的成对关系。
• 推导DPP对数似然相对于提议分数和位置偏移的梯度，支持端到端反向传播。
• 将DPP损失与标准Faster R-CNN的多任务损失（分类和回归）联合优化。
• 在推理阶段用基于DPP的选择替代NMS，以最大化多样性，同时保留高分、高精度的边界框。
• 采用一种可微分的DPP推理方案，联合考虑类别相似性、空间布局和置信度分数。

实验结果

研究问题

• RQ1 可微分DPP层是否能在不增加模型复杂度的前提下，通过促进区域提议间的多样性来提升目标检测性能？
• RQ2 在不同物体类别和空间配置下，基于DPP的提议选择与NMS相比，在准确率和鲁棒性方面表现如何？
• RQ3 当显式建模多样性时，是否可显著减少提议数量（例如Faster R-CNN的30%）仍能实现更优的检测性能？
• RQ4 语义相似性和空间布局对DPP框架中所选提议的质量有何影响？
• RQ5 DPP层在多大程度上提升了泛化能力并减少了训练和推理阶段的冗余性？

主要发现

• 在PASCAL VOC2007上，LDDP仅使用100个提议即达到60.4%的平均精度均值（mAP），与Faster R-CNN使用300个提议时的60.5% mAP相当。
• 即使将提议数量减少至Faster R-CNN的约30%，模型仍保持优异性能，展现出极高的样本效率。
• 在MS COCO数据集上，DPP核中的语义相似性矩阵显著提升了检测准确率，如消融研究所示。
• 在PASCAL VOC2007和MS COCO上的可视化结果表明，LDDP生成了非冗余且准确的检测结果，而使用NMS的Faster R-CNN常产生重叠或重复的边界框。
• 基于DPP的推理方案优于NMS，能更好地保留语义和空间上多样化的检测结果，减少误报并提升定位精度。
• DPP层的梯度计算为解析推导且可微分，支持使用标准反向传播进行端到端训练。