[论文解读] Appearance Descriptors for Person Re-identification: a Comprehensive Review

Riccardo Satta|arXiv (Cornell University)|Jul 22, 2013

Video Surveillance and Tracking Methods参考文献 99被引用 57

一句话总结

本文全面回顾了用于行人重识别的外观描述符，重点聚焦于利用基于部件的躯体模型提取的低层次局部与全局特征，以表征服装外观。本文系统性地按躯体模型和特征类型对现有方法进行分类，为这一具有挑战性的视频监控任务的未来研究提供了结构化基础。

ABSTRACT

In video-surveillance, person re-identification is the task of recognising whether an individual has already been observed over a network of cameras. Typically, this is achieved by exploiting the clothing appearance, as classical biometric traits like the face are impractical in real-world video surveillance scenarios. Clothing appearance is represented by means of low-level extit{local} and/or extit{global} features of the image, usually extracted according to some part-based body model to treat different body parts (e.g. torso and legs) independently. This paper provides a comprehensive review of current approaches to build appearance descriptors for person re-identification. The most relevant techniques are described in detail, and categorised according to the body models and features used. The aim of this work is to provide a structured body of knowledge and a starting point for researchers willing to conduct novel investigations on this challenging topic.

研究动机与目标

• 为视频监控中行人重识别的外观描述符技术提供结构化且综合的概述。
• 根据所使用的躯体模型类型和特征表示方式对现有方法进行分类。
• 为探索行人重识别中新型方法的研究人员提供基础参考。
• 分析当前描述符设计策略在非约束环境中的优缺点。
• 强调在传统生物特征（如人脸）不可行时，服装外观作为实用的、基于会话的生物特征线索的作用。

提出的方法

• 本文回顾了标准处理流程：行人检测、前景分割，以及使用局部或全局图像特征构建描述符。
• 通过基于部件的躯体模型构建描述符，将不同身体部位（如躯干、腿部）独立处理，以适应非刚性身体姿态。
• 特征被分类为局部特征（例如显著点周围的颜色分布）或全局特征（例如图像的整体颜色分布）。
• 本文评估了颜色直方图、纹理描述符（如LBP）以及基于深度学习的特征等特征类型，尽管后者未作深入分析。
• 本文讨论了融合多种特征集以提升重识别性能的策略。
• 此外，还调查了其他线索，如步态和人体测量学指标，尤其来自Kinect等RGB-D传感器，但这些方法被认为不太适合非约束、多摄像头的监控环境。

实验结果

研究问题

• RQ1 不同躯体模型在行人重识别中外观描述符的设计与性能方面有何影响？
• RQ2 在非约束监控场景中，哪类低层次特征（局部 vs. 全局）在表征服装外观方面最为有效？
• RQ3 在组合多种特征集以提升重识别准确率时，面临哪些关键挑战？
• RQ4 与其他生物特征线索（如步态或人体测量学）相比，服装外观在实际监控系统中的表现如何？
• RQ5 从RGB-D传感器中提取的人体测量学指标在真实世界、未标定、多摄像头的重识别设置中可应用到何种程度？

主要发现

• 由于在短时间内易于提取且具有独特性，服装外观在大多数行人重识别方法中仍是主导线索。
• 基于部件的躯体模型通过独立处理不同身体部位，显著提升了描述符的鲁棒性，缓解了姿态和视角变化带来的问题。
• 局部特征（如颜色和纹理描述符，例如LBP）被广泛使用且效果显著，尤其在与全局特征结合时。
• 尽管人体测量学指标具有潜力，但从非约束姿态和非正前方视角中提取仍具挑战性，限制了其实际部署。
• RGB-D传感器（如Kinect）可实现实时3D关节估计和人体测量测量，但要求为正前方或近正前方姿态，不适用于一般多摄像头监控场景。
• 尽管已有多种尝试，但目前尚无方法能完全解决现实环境中部分遮挡、视角变化或尺度变化等挑战，凸显了对更鲁棒描述符设计的迫切需求。