[论文解读] Rethinking of Pedestrian Attribute Recognition: A Reliable Evaluation under Zero-Shot Pedestrian Identity Setting

Jian Jia, Houjing Huang+2 more|arXiv (Cornell University)|Jul 8, 2021

Advanced Neural Network Applications参考文献 53被引用 25

一句话总结

本文将行人属性识别定义为多标签任务，批评现有数据集的数据泄露问题，提出零样本身份数据集 PETA ZS 和 RAP ZS，并给出可复现的基线与一个用于公平评测的强基线。

ABSTRACT

Pedestrian attribute recognition aims to assign multiple attributes to one pedestrian image captured by a video surveillance camera. Although numerous methods are proposed and make tremendous progress, we argue that it is time to step back and analyze the status quo of the area. We review and rethink the recent progress from three perspectives. First, given that there is no explicit and complete definition of pedestrian attribute recognition, we formally define and distinguish pedestrian attribute recognition from other similar tasks. Second, based on the proposed definition, we expose the limitations of the existing datasets, which violate the academic norm and are inconsistent with the essential requirement of practical industry application. Thus, we propose two datasets, PETA extsubscript{$ZS$} and RAP extsubscript{$ZS$}, constructed following the zero-shot settings on pedestrian identity. In addition, we also introduce several realistic criteria for future pedestrian attribute dataset construction. Finally, we reimplement existing state-of-the-art methods and introduce a strong baseline method to give reliable evaluations and fair comparisons. Experiments are conducted on four existing datasets and two proposed datasets to measure progress on pedestrian attribute recognition.

研究动机与目标

• 给出对行人属性识别的明确而完整的定义。
• 评估现有数据集是否符合学术规范与实际需求。
• 提出零样本行人身份数据集（PETA ZS 和 RAP ZS）和现实的数据划分标准。
• 在统一设置下重新实现四种最先进的 PAR 方法（MsVAA、VAC、ALM、JLAC），并建立一个强基线。
• 在现有和提出的数据集上提供公平、可靠的评估，以量化进展。

提出的方法

• 将行人属性识别正式定义为对裁剪后的行人图像进行多标签预测，训练集和测试集之间具有零样本身份。
• 指出现有数据集存在的数据泄露和训练/测试划分不一致的问题。
• 提出构建现实 PAR 数据集的标准，并使用零样本身份设置引入 PETA ZS 和 RAP ZS。
• 在统一的评测协议下重新实现四种最先进的 PAR 方法（MsVAA、VAC、ALM、JLAC）。
• 提出使用二元交叉熵损失并结合属性权重方案 WF1、WF2、WF3 的坚实 PAR 基线，并分析它们的影响。
• 提供一个端到端的训练与评测公式化的基线实现框架。

实验结果

研究问题

• RQ1 行人属性识别的精确定义是什么，它与相关任务有何区别？
• RQ2 当前的 PAR 数据集是否有效地衡量在真实、零样本部署场景中的泛化能力与性能？
• RQ3 如何构建数据集或进行划分以体现零样本行人身份并保持稳定的属性分布？
• RQ4 在公平、零样本评测下，现有的 PAR 方法表现如何，可靠的基线是什么？
• RQ5 属性权重方案和训练目标对在上述标准下的 PAR 性能有何影响？

主要发现

• 现有 PAR 数据集存在数据泄露问题，因为训练集和测试集之间存在共享身份，导致性能被高估。
• 在常见身份测试图像（训练中出现）与唯一身份测试图像（训练中未见）之间存在显著的性能差距。
• 提出零样本数据集 PETA ZS 和 RAP ZS，以更好地反映测试身份不在训练集中的现实部署。
• 在一致的设置下重新实现了最先进的方法；评估凸显了公平比较和鲁棒基线的重要性。
• 基线 PAR 性能受属性分布和类别不平衡的影响，权重函数 WF1、WF2、WF3 对优化具有显著影响。