[论文解读] Deep Poselets for Human Detection

Lubomir Bourdev, Fei Yang+1 more|arXiv (Cornell University)|Jul 2, 2014

Human Pose and Action Recognition参考文献 20被引用 21

一句话总结

该论文提出 Deep Poselets 方法，结合深度卷积神经网络（CNN）与基于姿态部件的人体检测，实现了 PASCAL VOC 人体检测任务的最先进性能。通过使用一种自举（bootstrapping）方案收集数百万个弱标签姿态部件样本，并训练 CNN 以生成紧凑的 256D 姿态判别特征（PDF），该方法实现了鲁棒且长宽比无关的部件检测，其 mAP 比 R-CNN 提高 0.6–1.2%。

ABSTRACT

We address the problem of detecting people in natural scenes using a part approach based on poselets. We propose a bootstrapping method that allows us to collect millions of weakly labeled examples for each poselet type. We use these examples to train a Convolutional Neural Net to discriminate different poselet types and separate them from the background class. We then use the trained CNN as a way to represent poselet patches with a Pose Discriminative Feature (PDF) vector -- a compact 256-dimensional feature vector that is effective at discriminating pose from appearance. We train the poselet model on top of PDF features and combine them with object-level CNNs for detection and bounding box prediction. The resulting model leads to state-of-the-art performance for human detection on the PASCAL datasets.

研究动机与目标

• 解决在姿态、外观和遮挡高度多变的自然场景中进行人体检测的挑战。
• 通过利用基于部件的建模方法，克服 R-CNN 和 OverFeat 在处理可变长宽比和噪声背景方面的局限性。
• 通过引入一种用于弱标签数据收集的自举方法，降低为罕见姿态部件类型训练深度网络的复杂度。
• 开发一种紧凑的、具有姿态判别能力的特征表示（PDF），实现仅用少量训练数据即可快速且准确地进行姿态部件分类。
• 通过简化但有效的姿态部件-CNN 流程，在 PASCAL VOC 人体检测基准上实现最先进性能。

提出的方法

• 使用自举方法，利用传统 HOG 基姿态部件作为初始化，自动收集每个姿态部件类型的数百万个弱标签样本。
• 在这些弱标签样本上训练卷积神经网络（CNN），学习一个 256 维的姿态判别特征（PDF）向量，以区分姿态与外观特征。
• 使用训练好的 CNN 从姿态部件图像块中提取 PDF 特征，再将这些特征作为输入，用于训练线性 SVM 以实现姿态部件分类。
• 将姿态部件检测结果与一个物体级别的 CNN（具体为 R-CNN 的 FC7 特征）结合，生成边界框提议，并优化物体检测结果。
• 在测试阶段应用 PDF 特征，对姿态部件进行检测，对小范围错位（如 ±20° 旋转、±16px 平移）具有鲁棒性，从而提升泛化能力。
• 使用预训练的 R-CNN 网络（无需微调）进行物体级别的分类与回归，结合姿态部件得分以获得最终检测结果。

实验结果

研究问题

• RQ1 深度特征能否通过减少对手工设计特征（如 HOG）的依赖，提升基于姿态部件的人体检测性能？
• RQ2 自举方法能否有效生成大规模弱标签训练数据，用于姿态部件专用的 CNN 训练？
• RQ3 与传统 HOG 特征相比，紧凑的 256D PDF 特征向量在准确性、对错位的鲁棒性以及样本效率方面是否表现更优？
• RQ4 基于部件的检测系统若采用深度姿态部件方法，能否在 PASCAL VOC 人体检测任务上超越 R-CNN 检测器的性能？
• RQ5 与失真或噪声较多的区域提议相比，在特征提取过程中保持正确的长宽比在多大程度上能提升检测性能？

主要发现

• 所提出的 Deep Poselets 方法在 PASCAL VOC 2007 测试集上达到 59.3% 的 mAP，比 R-CNN 检测器（58.7% mAP）高出 0.6 个百分点。
• 在 VOC 2010 和 2011 数据集上，该方法分别达到 59.3% 和 58.7% 的 mAP，分别比 R-CNN 提高 1.2% 和 0.9%。
• 基于深度特征的姿态部件分类器在仅使用 375 个正样本的抖动测试集上，平均精确率高达 99.44%，而 HOG 方法仅为 70.59%。
• PDF 特征向量为 256 维（HOG 为 1476 维），在保持高精度的同时，使推理速度更快、效率更高。
• PDF 特征对小范围错位（如旋转、缩放、平移）具有显著更强的鲁棒性，支持更粗粒度扫描，从而实现更快的推理速度。
• 即使每个姿态部件仅使用 200 个训练样本且不进行微调，基于 PDF 的姿态部件分类器性能仍可与使用大规模数据集训练的 HOG 基姿态部件分类器相媲美。