[论文解读] Deformable Part Models are Convolutional Neural Networks

Ross Girshick, Forrest Iandola+2 more|arXiv (Cornell University)|Sep 18, 2014

Advanced Neural Network Applications参考文献 26被引用 57

一句话总结

该论文提出 DeepPyramid DPM，一种新颖的端到端卷积神经网络（CNN），通过距离变换池化和学习特征金字塔，将可变形部件模型（DPM）表述为 CNN。通过用基于 CNN 的特征金字塔替代 HOG 特征，并将 DPM 推断表示为可微分网络，该模型在 PASCAL VOC 上实现了最先进性能，略优于同等规模的 R-CNN 系统，同时推理速度提升 20 倍。

ABSTRACT

Deformable part models (DPMs) and convolutional neural networks (CNNs) are two widely used tools for visual recognition. They are typically viewed as distinct approaches: DPMs are graphical models (Markov random fields), while CNNs are "black-box" non-linear classifiers. In this paper, we show that a DPM can be formulated as a CNN, thus providing a novel synthesis of the two ideas. Our construction involves unrolling the DPM inference algorithm and mapping each step to an equivalent (and at times novel) CNN layer. From this perspective, it becomes natural to replace the standard image features used in DPM with a learned feature extractor. We call the resulting model DeepPyramid DPM and experimentally validate it on PASCAL VOC. DeepPyramid DPM significantly outperforms DPMs based on histograms of oriented gradients features (HOG) and slightly outperforms a comparable version of the recently introduced R-CNN detection system, while running an order of magnitude faster.

研究动机与目标

• 将可变形部件模型（DPM）与卷积神经网络（CNN）统一为一个可微分的联合框架。
• 通过使用预训练 CNN 提取的特征金字塔替代手工设计的 HOG 特征，克服基于 HOG 的 DPM 的局限性。
• 证明 DPM 推断可表示为具有新型层的结构化 CNN，从而实现端到端训练。
• 表明所提出的模型 DeepPyramid DPM 在 PASCAL VOC 上相比现有方法实现了更高的检测精度与速度。

提出的方法

• 通过将 DPM 的推理算法展开为一系列可微分层，将 DPM 表述为 CNN。
• 提出距离变换池化（DT-pooling），这是最大池化的推广，可建模部件形变与空间关系。
• 构建两阶段网络：首先，使用共享的、截断的 SuperVision 架构，从图像多尺度中提取 CNN 特征金字塔。
• 在每个特征图层级上应用 DPM-CNN，利用 maxout 单元和 DT-pooling 建模部件检测器与形变。
• 通过将特征提取器与 DPM-CNN 组合为单一统一的 CNN，实现整个系统的端到端训练。
• 在所有金字塔层级上使用共享的、权重共享的架构，以保持参数效率与空间一致性。

实验结果

研究问题

• RQ1 可变形部件模型能否被表示为可微分的卷积神经网络？
• RQ2 用学习得到的特征金字塔替代 HOG 特征是否能提升 DPM 的性能？
• RQ3 距离变换池化能否推广最大池化，以在 CNN 中建模部件形变？
• RQ4 与 R-CNN 和 HOG-DPM 相比，端到端的 DeepPyramid DPM 在 PASCAL VOC 上的精度与速度表现如何？
• RQ5 滑动窗口与区域基础检测方法在结合时是否具有互补性？

主要发现

• DeepPyramid DPM 在 PASCAL VOC 2010 上实现了 42.0% 的平均平均精度（mAP），优于 HOG-DPM（33.4%），且与未使用边界框回归的 R-CNN FT fc7 性能相当。
• 该模型在两个类别（bottle 和 person）上略优于同等规模的 R-CNN 系统（R-CNN FT fc7 BB），表明其在区域建议质量或特征表示方面具有优势。
• DeepPyramid DPM 的推理速度约为 R-CNN 的 20 倍，同时保持了具有竞争力的精度，展现出显著的精度-速度权衡优势。
• 仅使用负样本图像中的负样本（不包含误定位的正样本）会使 mAP 下降 6.3 个百分点，凸显了难负样本挖掘的重要性。
• 消融实验表明，当混合组件数量从 1 增加到 2 或 3 时，性能持续提升，表明多个模板有助于提高召回率与泛化能力。
• 该模型表明滑动窗口与区域基础检测器具有互补性，提示集成方法可能带来进一步性能增益。