[论文解读] Person Re-identification in Appearance Impaired Scenarios

Mengran Gou, Xikang Zhang+4 more|arXiv (Cornell University)|Apr 1, 2016

Video Surveillance and Tracking Methods参考文献 34被引用 8

一句话总结

本文提出一种基于动态特性的特征 DynFV，通过使用 Fisher 向量编码的密集短轨迹来捕捉步态和运动模式，以提升在外观受损场景（如个体穿着相似服装或更换服饰）下的行人重识别性能。该方法显著提升了重识别准确率，尤其在具有挑战性的场景中表现突出，在 iLIDSVID 上结合外观特征后 Rank-1 性能相对提升了 74%，在 PRID 上提升了 43%。

ABSTRACT

Person re-identification is critical in surveillance applications. Current approaches rely on appearance based features extracted from a single or multiple shots of the target and candidate matches. These approaches are at a disadvantage when trying to distinguish between candidates dressed in similar colors or when targets change their clothing. In this paper we propose a dynamics-based feature to overcome this limitation. The main idea is to capture soft biometrics from gait and motion patterns by gathering dense short trajectories (tracklets) which are Fisher vector encoded. To illustrate the merits of the proposed features we introduce three new "appearance-impaired" datasets. Our experiments on the original and the appearance impaired datasets demonstrate the benefits of incorporating dynamics-based information with appearance-based information to re-identification algorithms.

研究动机与目标

• 解决当目标穿着相似服装或更换服饰时，基于外观的重识别方法存在的局限性。
• 利用视频序列中的时序与运动线索，提升在外观退化场景下的重识别鲁棒性。
• 提出三个新的具有挑战性的‘外观受损’数据集，用于评估在真实监控条件下重识别性能的表现。
• 证明基于动态特性的特征（如 DynFV）可与基于外观的特征提供互补信息，从而提升整体重识别准确率。

提出的方法

• 利用光流从视频序列中提取密集短轨迹（tracklets），以捕捉运动模式。
• 对这些密集轨迹的时间金字塔应用 Fisher 向量编码，生成紧凑且具有判别力的基于动态特性的特征表示（DynFV）。
• 将 DynFV 与现有的基于外观的特征（如 LDFV，局部差异特征向量）进行联合特征融合。
• 使用简单的最近邻分类器（无需任何监督训练）来评估所提特征的无监督性能。
• 设计并收集了三个新的外观受损数据集：PRID-BK（仅黑色服装）、TSD（包含外观变化的火车站视频）和 iLIDSVID-BK（黑色服装子集）。
• 通过使用多个金字塔层级（a ∈ {5, 9, 14}）评估滑动窗口大小对 DynFV 性能的影响，以优化轨迹编码。

实验结果

研究问题

• RQ1 能否从密集轨迹中提取的基于动态特性的特征，提升在外观特征失效的外观受损场景下的行人重识别性能？
• RQ2 所提出的 DynFV 特征在重识别准确率方面与当前最先进基于外观的特征相比如何？
• RQ3 将 DynFV 与基于外观的特征（如 LDFV）结合后，在标准数据集和外观受损数据集上的性能提升程度如何？
• RQ4 DynFV 特征对轨迹提取中使用的滑动窗口大小的敏感程度如何？
• RQ5 在涉及服装更换或穿着相似服饰的场景中，DynFV 的相对性能提升有多大？

主要发现

• 在 iLIDSVID 数据集上，DynFV 与 LDFV 特征结合后，相比单独使用 LDFV，Rank-1 性能相对提升了 74%。
• 在 PRID 数据集上，DynFV+LDFV 的组合相比单独使用 LDFV，Rank-1 准确率相对提升了 43%。
• 在外观受损场景中，DynFV+LDFV 融合方法相比单独使用 LDFV，在 PRID-BK 数据集上 Rank-1 性能提升了 24.14%，在 TSD 数据集上提升了 16.19%。
• 使用全部三个金字塔层级（a ∈ {5, 9, 14}）生成 DynFV 时，相比仅使用原始轨迹（a = 14），在 PRID-BK 数据集上 Rank-1 准确率相对提升了 32.71%。
• 在 PRID 数据集上，DynFV+LDFV 组合在所有评估方法中取得了最佳的 Rank-1 性能（43.6%），优于包括 AFDA 和 ColorLBP+DVR 在内的当前最先进方法。
• 在 TSD 数据集上，DynFV+LDFV 融合方法相比单独使用 LDFV，Rank-1 性能相对提升了 38.92%，充分证明了其在外观变化场景下的强大有效性。