[论文解读] CGUA: Context-Guided and Unpaired-Assisted Weakly Supervised Person Search

Chengyou Jia, Minnan Luo+3 more|arXiv (Cornell University)|Mar 27, 2022

Video Surveillance and Tracking Methods被引用 7

一句话总结

CGUA 提出了一种新颖的弱监督行人检索框架，通过引入上下文引导聚类和无配对行人感知记忆机制，在无需人工标注身份信息的情况下提升了性能。通过整合场景上下文信息并利用双记忆库区分无配对行人，CGUA 在 CUHK-SYSU 数据集上超越以往弱监督方法超过 5% 的 mAP，且仅使用边界框标注即达到与监督方法相当的性能。

ABSTRACT

Recently, weakly supervised person search is proposed to discard human-annotated identities and train the model with only bounding box annotations. A natural way to solve this problem is to separate it into detection and unsupervised re-identification (Re-ID) steps. However, in this way, two important clues in unconstrained scene images are ignored. On the one hand, existing unsupervised Re-ID models only leverage cropped images from scene images but ignore its rich context information. On the other hand, there are numerous unpaired persons in real-world scene images. Directly dealing with them as independent identities leads to the long-tail effect, while completely discarding them can result in serious information loss. In light of these challenges, we introduce a Context-Guided and Unpaired-Assisted (CGUA) weakly supervised person search framework. Specifically, we propose a novel Context-Guided Cluster (CGC) algorithm to leverage context information in the clustering process and an Unpaired-Assisted Memory (UAM) unit to distinguish unpaired and paired persons by pushing them away. Extensive experiments demonstrate that the proposed approach can surpass the state-of-the-art weakly supervised methods by a large margin (more than 5% mAP on CUHK-SYSU). Moreover, our method achieves comparable or better performance to the state-of-the-art supervised methods by leveraging more diverse unlabeled data. Codes and models will be released soon.

研究动机与目标

• 解决现有弱监督行人检索方法忽略场景上下文和无配对行人问题的局限性。
• 通过仅使用边界框标注进行训练，减少对昂贵人工标注身份信息的依赖。
• 通过引入上下文信息和无配对行人信息，提升聚类与重识别性能。
• 在仅使用弱监督数据的前提下，实现与监督方法相当的性能表现。

提出的方法

• 提出一种上下文引导聚类（CGC）算法，结合视觉相似性与上下文相似性，提升聚类鲁棒性。
• 采用混合相似性（视觉 + 场景上下文）引导聚类，并施加约束以过滤噪声聚类。
• 提出一种无配对辅助记忆（UAM）单元，包含配对与无配对特征记忆库，促使无配对特征远离配对特征。
• 采用两阶段流程：先进行目标检测，再进行上下文感知、无配对感知的 Re-ID，以提升特征学习效果。
• 利用多样化未标注数据，包括无配对行人与完整场景图像，增强模型泛化能力。
• 使用 t-SNE 可视化验证 CGC 与 UAM 所带来的特征紧凑性与可分性提升。

实验结果

研究问题

• RQ1 如何有效利用完整场景图像中的上下文信息于弱监督行人检索中？
• RQ2 仅在数据集中出现一次的无配对行人对聚类与 Re-ID 性能有何影响？
• RQ3 双记忆库机制能否提升配对与无配对行人之间的判别能力？
• RQ4 仅使用边界框标注时，弱监督模型在多大程度上可达到与监督模型相当的性能？
• RQ5 上下文信息与无配对行人感知的融合对聚类质量与特征可分性有何影响？

主要发现

• 在 CUHK-SYSU 数据集上，CGUA 达到 92.0% 的 top-1 准确率与 91.0% 的 mAP，超越最先进弱监督方法超过 5% 的 mAP。
• 在 PRW 数据集上，CGUA 达到 86.9% 的 top-1 准确率，优于现有弱监督方法，并与监督方法的最先进结果持平。
• 与基线 FINCH 聚类方法相比，CGC 算法在 CUHK-SYSU 上提升 mAP 超过 12%，在 PRW 上提升超过 5%。
• UAM 单元显著减少了无配对与配对行人之间的混淆，定性结果表明最终模型能正确识别查询样本，同时避免误匹配。
• 通过利用包括无配对行人与完整场景图像在内的多样化未标注数据，该方法实现了与监督方法相当的性能表现。
• 运行时分析表明，尽管采用两阶段设计，CGUA 的推理效率与单阶段方法相当（V100 上为 68ms），展现出强大的实用性。