[论文解读] Improving Pedestrian Attribute Recognition With Weakly-Supervised Multi-Scale Attribute-Specific Localization

Chufeng Tang, Lu Sheng+2 more|arXiv (Cornell University)|Oct 10, 2019

Video Surveillance and Tracking Methods参考文献 41被引用 14

一句话总结

该论文提出了一种弱监督、端到端的行人属性识别框架，采用一种新颖的属性定位模块（ALM），可自动发现并定位多尺度特征中的属性特定区域。通过整合通道注意力子网络与空间变换器实现自适应定位，并采用具有深度监督的特征金字塔结构，该方法在PETA、RAP和PA-100K数据集上实现了最先进性能，同时参数量和计算成本极低。

ABSTRACT

Pedestrian attribute recognition has been an emerging research topic in the area of video surveillance. To predict the existence of a particular attribute, it is demanded to localize the regions related to the attribute. However, in this task, the region annotations are not available. How to carve out these attribute-related regions remains challenging. Existing methods applied attribute-agnostic visual attention or heuristic body-part localization mechanisms to enhance the local feature representations, while neglecting to employ attributes to define local feature areas. We propose a flexible Attribute Localization Module (ALM) to adaptively discover the most discriminative regions and learns the regional features for each attribute at multiple levels. Moreover, a feature pyramid architecture is also introduced to enhance the attribute-specific localization at low-levels with high-level semantic guidance. The proposed framework does not require additional region annotations and can be trained end-to-end with multi-level deep supervision. Extensive experiments show that the proposed method achieves state-of-the-art results on three pedestrian attribute datasets, including PETA, RAP, and PA-100K.

研究动机与目标

• 解决在缺乏区域级标注的情况下，定位行人图像中与属性相关区域的挑战。
• 通过学习属性特定的判别性局部特征，而非依赖全局特征，提升细粒度行人属性识别性能。
• 消除对外部部件定位模块或缺乏特异性的属性无关注意力机制的依赖。
• 仅使用图像级标注即可实现端到端训练，同时保持模型效率。
• 通过特征金字塔架构利用高层语义指导，提升浅层特征的定位精度。

提出的方法

• 提出一种属性定位模块（ALM），结合通道注意力子网络以建模通道间依赖关系，以及空间变换器以自适应定位属性特定区域。
• 在不同特征层级部署多个ALM，实现多尺度属性特定区域的定位与特征学习。
• 构建特征金字塔架构，融合高层语义特征与低层细节，提升浅层特征的定位精度。
• 通过在所有层级使用相同的属性标注进行深度监督训练ALM，并采用投票机制聚合各层级的预测结果。
• 采用轻量化设计，仅使用全连接层与1×1卷积层，显著减少额外的FLOPs与参数量。
• 仅使用图像级标注，实现整个框架的端到端训练，避免对区域级或部件级标注的需求。

实验结果

研究问题

• RQ1 能否在无区域标注的情况下，以弱监督方式有效学习属性特定的定位？
• RQ2 如何利用多尺度特征表示提升细粒度行人属性的定位精度？
• RQ3 结合低层细节与高层语义的特征金字塔架构，能否同时提升定位与识别性能？
• RQ4 具有多层级深度监督的端到端可训练框架，是否优于现有的注意力机制或基于部件的基线方法？
• RQ5 所提方法在提升识别准确率的同时，能在多大程度上降低模型复杂度？

主要发现

• 所提方法在三个基准数据集（PETA、RAP、PA-100K）上达到最先进性能，PA-100K上的平均准确率（mA）达80.68%，较之前最先进方法高出3.7%。
• 在PA-100K数据集上，F1分数相比第二好的方法提升1.4%，表明在具有长尾分布的复杂数据上具有强大泛化能力。
• 相较于基线模型，PETA上mA提升3.6%，RAP上提升6.1%，PA-100K上提升3.2%，表明在各数据集上均实现稳定增益。
• 尽管召回率更高，该方法仍保持较高的精确率与F1分数，表明在类别不平衡设置下具有强鲁棒性。
• 模型仅增加0.17 GFLOPs与极少参数（51个属性约120万个参数），显著优于先前方法，效率更高。
• 消融实验表明，特征金字塔与投票机制对性能至关重要，当两者同时使用时性能最佳。