[论文解读] DeePM: A Deep Part-Based Model for Object Detection and Semantic Part Localization

Jun Zhu, Xianjie Chen+1 more|arXiv (Cornell University)|Nov 23, 2015

Advanced Neural Network Applications参考文献 27被引用 19

一句话总结

本文提出DeePM，一种基于Faster R-CNN构建的潜在图模型的深度部件化模型，通过联合检测物体并定位语义部件。通过学习具有灵活类型共享和几何约束的显式物体-部件配置，DeePM在物体检测和部件定位方面均优于OP R-CNN及当前最先进的R-CNN模型，尤其在部件定位方面表现更优，并引入了一种新颖的'(1+k)' AP评估指标以衡量联合检测性能。

ABSTRACT

In this paper, we propose a deep part-based model (DeePM) for symbiotic object detection and semantic part localization. For this purpose, we annotate semantic parts for all 20 object categories on the PASCAL VOC 2012 dataset, which provides information on object pose, occlusion, viewpoint and functionality. DeePM is a latent graphical model based on the state-of-the-art R-CNN framework, which learns an explicit representation of the object-part configuration with flexible type sharing (e.g., a sideview horse head can be shared by a fully-visible sideview horse and a highly truncated sideview horse with head and neck only). For comparison, we also present an end-to-end Object-Part (OP) R-CNN which learns an implicit feature representation for jointly mapping an image ROI to the object and part bounding boxes. We evaluate the proposed methods for both the object and part detection performance on PASCAL VOC 2012, and show that DeePM consistently outperforms OP R-CNN in detecting objects and parts. In addition, it obtains superior performance to Fast and Faster R-CNNs in object detection.

研究动机与目标

• 通过联合检测物体及其组成部分，实现物体检测与语义部件定位的协同优化。
• 解决现有方法将物体检测与部件检测分开处理或缺乏细粒度部件标注的局限性。
• 开发一个统一框架，通过几何与共现约束建模物体-部件配置，以提升检测性能。
• 提出一种专用于联合物体与部件检测性能评估的新指标'(1+k) AP'。
• 为PASCAL VOC 2012中全部20个物体类别提供全面的语义部件标注，包括姿态、遮挡、视角与功能信息。

提出的方法

• DeePM采用双流深度卷积神经网络架构：一个流用于物体检测，另一个流用于部件检测，共享早期卷积层。
• 每个流集成一个区域提议网络（RPN），以端到端学习方式生成物体或部件的提议区域。
• 潜在图模型将深度外观特征与物体及其部件之间的几何与共现约束相结合。
• 通过无监督聚类学习部件类型，实现灵活的类型共享（例如，侧视马头可跨不同马的视角共享）。
• 模型采用多任务损失函数，对物体和部件类别进行联合分类与边界框回归。
• 图模型显式建模部件相对于物体的空间配置，即使在遮挡或截断情况下也能提升定位精度。

实验结果

研究问题

• RQ1 具有显式图建模的深度部件化模型是否能在联合物体与部件检测任务中超越端到端深度学习基线？
• RQ2 灵活的部件类型共享如何提升在不同物体姿态、视角与遮挡水平下的泛化能力？
• RQ3 几何与共现约束在复杂场景中对部件定位的提升程度如何？
• RQ4 所提出的'(1+k) AP'指标相较于标准PASCAL VOC mAP，是否更能反映联合物体-部件检测的难度？
• RQ5 具有共享特征与结构化建模的统一框架是否能提升对小尺寸或高度遮挡部件的检测性能？

主要发现

• 与OP R-CNN相比，DeePM在部件检测上的平均平均精度（mAP）高出2.9%，显著提升了对细粒度语义部件的定位能力。
• DeePM在物体检测方面优于Fast R-CNN与Faster R-CNN，表明显式部件建模可提升整体检测性能。
• 所提出的'(1+k) AP'指标显示，当k > 0时，DeePM始终优于OP R-CNN，证实其在联合检测任务中的优越性。
• DeePM在四个物体类别（自行车、船、马、沙发）上显著优于单类型DPM基线，证明了类型特异性几何与共现线索的价值。
• 对极小（XS）与极大（XL）物体/部件，性能急剧下降，凸显了检测高度截断或遮挡实例的挑战。
• 可视化结果表明，得益于其结构化的图模型，DeePM在部分遮挡或非正前方视角下仍能有效定位部件。