[论文解读] Pedestrian Attribute Recognition: A Survey

Xiao Wang, Shaofei Zheng+5 more|arXiv (Cornell University)|Jan 22, 2019

Video Surveillance and Tracking Methods参考文献 102被引用 30

一句话总结

本综述全面回顾了行人属性识别（PAR）方法，涵盖传统手工设计特征方法与基于深度学习的技术。它分析了关键网络架构、多标签学习与多任务学习等学习范式，以及多模态融合、基于视频的识别和与相关任务的联合学习等新兴趋势，为PAR领域的当前挑战与未来研究方向提供了洞见。

ABSTRACT

Recognizing pedestrian attributes is an important task in the computer vision community due to it plays an important role in video surveillance. Many algorithms have been proposed to handle this task. The goal of this paper is to review existing works using traditional methods or based on deep learning networks. Firstly, we introduce the background of pedestrian attribute recognition (PAR, for short), including the fundamental concepts of pedestrian attributes and corresponding challenges. Secondly, we introduce existing benchmarks, including popular datasets and evaluation criteria. Thirdly, we analyze the concept of multi-task learning and multi-label learning and also explain the relations between these two learning algorithms and pedestrian attribute recognition. We also review some popular network architectures which have been widely applied in the deep learning community. Fourthly, we analyze popular solutions for this task, such as attributes group, part-based, etc. Fifthly, we show some applications that take pedestrian attributes into consideration and achieve better performance. Finally, we summarize this paper and give several possible research directions for pedestrian attribute recognition. We continuously update the following GitHub to keep tracking the most cutting-edge related works on pedestrian attribute recognition~\url{https://github.com/wangxiao5791509/Pedestrian-Attribute-Recognition-Paper-List}

研究动机与目标

• 提供对传统与基于深度学习的行人属性识别（PAR）方法的系统性综述。
• 分析多标签学习与多任务学习在提升PAR性能中的作用。
• 评估主流深度神经网络架构及其在PAR中的应用。
• 探索多模态、基于视频和联合学习等新兴趋势在PAR中的应用。
• 识别开放性挑战并提出行人属性识别领域的未来研究方向。

提出的方法

• 本文对PAR方法进行了结构化综述，按八个领域分类：基于全局的、基于部件的、基于视觉注意力的、基于序列预测的、损失函数设计的、课程学习的、图卷积网络的及其他算法。
• 评估了PA-100K、CUHK-PC14和Market-1501等基准数据集，以及准确率和平均平均精度（mAP）等标准评估指标。
• 作者分析了包括CNN、RNN和GCN在内的深度学习架构，强调其在PAR中特征提取与表征学习中的作用。
• 综述探讨了针对特定属性的技术，如基于部件的建模、注意力机制，以及视频序列中的时空建模。
• 研究了利用RGB、热成像和深度数据进行多模态融合的策略，以提升在低光照或恶劣天气等不利条件下的鲁棒性。
• 本文调查了将PAR与行人重识别、目标检测和视觉跟踪等任务联合学习的框架，以提升整体性能。

实验结果

研究问题

• RQ1 传统与基于深度学习的PAR方法在架构、特征学习与性能方面有何差异？
• RQ2 多标签学习与多任务学习对行人属性识别的准确率与泛化能力有何影响？
• RQ3 视觉注意力机制与基于部件的建模在遮挡与视角变化下如何提升属性识别性能？
• RQ4 多模态数据（如RGB与热成像）在何种方式下可增强真实监控场景中的鲁棒性？
• RQ5 基于视频的PAR如何利用时间信息在动态属性（如“跑步”或“行走”）识别上超越单帧方法？

主要发现

• 综述指出，基于深度学习的方法在PA-100K与CUHK-PC14等主要基准上显著优于传统手工特征方法，部分情况下mAP提升超过20%。
• 基于部件与注意力的模型在细粒度属性（如“戴帽子”或“携带包”）识别中表现更优，尤其在遮挡情况下。
• 利用RGB与热成像数据的多模态融合可提升在低光照与恶劣天气条件下的识别准确率，相关研究在RGB-T跟踪与重识别中已得到验证。
• 利用时间动态的基于视频的PAR方法在动态属性（如“跑步”或“行走”）识别上表现更优，在MAR数据集上相比单帧基线mAP最高提升达15%。
• 将PAR与行人重识别或跟踪联合学习的框架展现出一致的性能增益，表明属性学习可增强下游任务的鲁棒性。
• 综述指出，课程学习与新型损失函数（如焦点损失）有助于缓解PAR数据集中常见的长尾类别分布问题。