[论文解读] Deep Learning-based Occluded Person Re-identification: A Survey

Yunjie Peng, Saihui Hou+4 more|arXiv (Cornell University)|Jul 29, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

本综述对基于深度学习的遮挡行人重识别（Re-ID）进行了全面分析，根据四个核心问题对方法进行分类：位置错位、尺度错位、噪声信息和缺失信息。在四个基准数据集上评估了近期模型，结果表明注意力机制和辅助监督显著提升了性能，最先进方法在Occ-ReID上达到86.3% mAP，在Occ-DukeMTMC上达到87.3% mAP。

ABSTRACT

Occluded person re-identification (Re-ID) aims at addressing the occlusion problem when retrieving the person of interest across multiple cameras. With the promotion of deep learning technology and the increasing demand for intelligent video surveillance, the frequent occlusion in real-world applications has made occluded person Re-ID draw considerable interest from researchers. A large number of occluded person Re-ID methods have been proposed while there are few surveys that focus on occlusion. To fill this gap and help boost future research, this paper provides a systematic survey of occluded person Re-ID. Through an in-depth analysis of the occlusion in person Re-ID, most existing methods are found to only consider part of the problems brought by occlusion. Therefore, we review occlusion-related person Re-ID methods from the perspective of issues and solutions. We summarize four issues caused by occlusion in person Re-ID, i.e., position misalignment, scale misalignment, noisy information, and missing information. The occlusion-related methods addressing different issues are then categorized and introduced accordingly. After that, we summarize and compare the performance of recent occluded person Re-ID methods on four popular datasets: Partial-ReID, Partial-iLIDS, Occluded-ReID, and Occluded-DukeMTMC. Finally, we provide insights on promising future research directions.

研究动机与目标

• 系统性地对基于深度学习的遮挡行人Re-ID方法进行分类与分析，重点关注遮挡带来的特定挑战。
• 识别并根据遮挡引起的四种主要问题对现有方法进行分类：位置错位、尺度错位、噪声信息和缺失信息。
• 在四个广泛使用的遮挡Re-ID基准数据集（Partial-ReID、Partial-iLIDS、Occluded-ReID和Occluded-DukeMTMC）上比较近期最先进方法的性能。
• 基于对当前局限性和趋势的批判性分析，为遮挡行人Re-ID的未来研究方向提供洞见。

提出的方法

• 本文根据四种由遮挡引发的问题（位置错位、尺度错位、噪声信息和缺失信息）对现有方法进行多维分类。
• 在每个问题类别下回顾技术解决方案，包括基于匹配的方法、辅助模型、注意力机制（如自注意力/Transformer）以及图像变换技术。
• 使用Rank-1准确率和平均平均精度（mAP）等性能指标，在四个标准数据集（Partial-ReID、Partial-iLIDS、Occluded-ReID和Occluded-DukeMTMC）上评估方法。
• 分析注意力机制（如MHSA-Net、PAT、FED）和额外监督（如HPNet、PFD）在解决位置和噪声问题中的集成作用。
• 比较利用空间或时间恢复机制处理缺失信息的方法，如RFCNet的双路径恢复机制。
• 评估旨在通过学习条件变换对齐部分图像与整体图像的图像变换技术，尽管这些方法表现出更高的计算成本和较低的性能。

实验结果

研究问题

• RQ1 遮挡在行人Re-ID中引入的四个主要问题是什么，它们如何影响模型性能？
• RQ2 现有基于深度学习的方法如何解决遮挡Re-ID中的位置错位和尺度错位问题？
• RQ3 注意力机制和辅助监督在缓解遮挡Re-ID中的噪声和缺失信息方面起到什么作用？
• RQ4 在不同技术路径（如匹配、注意力、图像变换）之间，其在标准基准上的性能表现如何比较？
• RQ5 基于当前方法论的局限性和性能趋势，遮挡行人Re-ID中最具前景的未来研究方向是什么？

主要发现

• 在Occ-DukeMTMC数据集上表现最佳的方法HPNet通过引入额外监督，实现了87.3% mAP，显著优于早期方法。
• 在Occ-ReID数据集上，FED模型通过利用注意力机制和额外监督来处理噪声和缺失信息，实现了86.3% mAP。
• 采用注意力机制（如PAT和FED）的方法在Occ-ReID上均实现了超过80% mAP，表明自注意力在建模部分图像中的长距离依赖关系方面具有显著有效性。
• 尽管图像变换技术在理论上对齐部分图像与整体图像具有潜力，但其性能低于其他方法，且计算成本更高。
• 辅助模型和额外监督（如HPNet、PFD）在Occ-DukeMTMC和Occ-ReID上均持续提升了性能，尤其在位置和噪声相关问题上表现突出。
• RFCNet中空间与时间恢复机制的结合在Occ-DukeMTMC上实现了63.9% Rank-1和54.5% mAP，表明多模态信息恢复具有重要价值。