[论文解读] Learning to Recognize Pedestrian Attribute

Yubin Deng, Ping Luo+2 more|arXiv (Cornell University)|Jan 5, 2015

Video Surveillance and Tracking Methods参考文献 18被引用 37

一句话总结

该论文提出了一种基于马尔可夫随机场（MRF）的方法，利用邻域上下文信息和前景-背景特征表示，以提升远距离行人属性识别的性能。通过将行人图像建模为具有相似性加权边的MRF，并利用深度解析技术分离前景特征，该方法在大规模PETA数据集上实现了最先进性能，相较于基线方法平均准确率提升4.4%。

ABSTRACT

Learning to recognize pedestrian attributes at far distance is a challenging problem in visual surveillance since face and body close-shots are hardly available; instead, only far-view image frames of pedestrian are given. In this study, we present an alternative approach that exploits the context of neighboring pedestrian images for improved attribute inference compared to the conventional SVM-based method. In addition, we conduct extensive experiments to evaluate the informativeness of background and foreground features for attribute recognition. Experiments are based on our newly released pedestrian attribute dataset, which is by far the largest and most diverse of its kind.

研究动机与目标

• 为解决在远距离场景下，由于分辨率低和遮挡导致面部与身体细节不可用而带来的行人属性识别挑战。
• 探究背景与前景特征在提升属性识别性能中的作用。
• 开发一种上下文感知的学习框架，通过自动推断的MRF图利用行人图像之间的邻域信息。
• 评估不同特征表示方式——整体图像、仅前景、以及前景-背景组合——在属性识别中的效果。
• 利用最大且最多样化的行人属性数据集（PETA）建立新的基准，用于评估属性识别方法。

提出的方法

• 该方法将多张行人图像建模为马尔可夫随机场（MRF）图，其中节点代表图像，边按成对相似性加权，相似性通过欧氏距离或基于决策森林的相似性（结合特征选择）估计。
• 通过深度分解网络（DDN）进行解析，提取前景区域（如身体、四肢），其余区域则视为背景。
• 评估三种特征表示方案：整体图像特征（$\mathbf{u}^{\text{whole}}$）、仅前景特征（$\mathbf{u}^{\text{fore}}$）以及拼接的前景-背景特征（$\mathbf{u}^{\text{fore}}, \mathbf{u}^{\text{back}}$）。
• MRF推理过程联合估计图中所有图像的属性概率，从而提升对外观模糊性和类内差异的鲁棒性。
• 对比两种MRF构建策略：一种仅使用测试样本，另一种同时使用训练和测试样本，以更好地覆盖图像空间。
• 采用新型大规模行人属性数据集（PETA）进行评估，性能通过20个属性的平均平均精度（mAP）衡量。

实验结果

研究问题

• RQ1 在远距离场景下，将行人图像之间的邻域上下文信息整合进来，如何提升属性识别性能？
• RQ2 前景特征与背景特征在准确检测属性方面各自贡献如何？
• RQ3 使用具有相似性加权图拓扑的联合优化MRF模型，是否优于传统的SVM方法？
• RQ4 在整体图像、仅前景或前景-背景组合这三种特征表示方案中，哪一种性能最佳？
• RQ5 不同的相似性度量方式（如高斯核与随机森林）如何影响基于MRF的属性推理？

主要发现

• 采用随机森林相似性的MRF方法（MRFr2）相较于基线$\mathbf{u}^{\text{whole}}$方案，平均准确率提升4.4%，最佳性能出现在$(\mathbf{u}^{\text{fore}}, \mathbf{u}^{\text{whole}})$特征表示下。
• 与ikSVM基线相比，MRF方法平均准确率提升3.4%，对'carryingOther'和'Shoes'等属性的提升最高达10%。
• 使用训练和测试样本共同构建MRF图的性能优于仅使用测试样本，表明图像空间覆盖更充分。
• 背景上下文信息在与前景特征结合时效果最佳，这从$(\mathbf{u}^{\text{fore}}, \mathbf{u}^{\text{whole}})$方案的优越性能中得到验证。
• 对于正负样本分布不平衡的属性（如'logo'、'stripes'、'v-neck'），即使在最佳方法下性能仍较低，表明仍需改进数据或建模方法。
• 该方法对遮挡和背景噪声具有鲁棒性，但此类情况下假阴性现象较常见，尤其在'sunglasses'和'long hair'等属性上。