[论文解读] DSSL: Deep Surroundings-person Separation Learning for Text-based Person Retrieval

Aichun Zhu, Zijie Wang+6 more|arXiv (Cornell University)|Sep 12, 2021

Video Surveillance and Tracking Methods参考文献 31被引用 11

一句话总结

本文提出DSSL，一种用于文本驱动行人检索的新型深度学习框架，通过互斥约束显式分离行人特征与周围场景信息。通过利用五种对齐范式和信号去噪模块，DSSL在CUHK-PEDES上达到最先进性能，并引入一个新的真实世界基准数据集RSTPReid，以供未来研究。

ABSTRACT

Many previous methods on text-based person retrieval tasks are devoted to learning a latent common space mapping, with the purpose of extracting modality-invariant features from both visual and textual modality. Nevertheless, due to the complexity of high-dimensional data, the unconstrained mapping paradigms are not able to properly catch discriminative clues about the corresponding person while drop the misaligned information. Intuitively, the information contained in visual data can be divided into person information (PI) and surroundings information (SI), which are mutually exclusive from each other. To this end, we propose a novel Deep Surroundings-person Separation Learning (DSSL) model in this paper to effectively extract and match person information, and hence achieve a superior retrieval accuracy. A surroundings-person separation and fusion mechanism plays the key role to realize an accurate and effective surroundings-person separation under a mutually exclusion constraint. In order to adequately utilize multi-modal and multi-granular information for a higher retrieval accuracy, five diverse alignment paradigms are adopted. Extensive experiments are carried out to evaluate the proposed DSSL on CUHK-PEDES, which is currently the only accessible dataset for text-base person retrieval task. DSSL achieves the state-of-the-art performance on CUHK-PEDES. To properly evaluate our proposed DSSL in the real scenarios, a Real Scenarios Text-based Person Reidentification (RSTPReid) dataset is constructed to benefit future research on text-based person retrieval, which will be publicly available.

研究动机与目标

• 为解决跨模态行人检索中噪声和错位特征的挑战，通过显式分离行人信息与周围环境。
• 通过在特征学习过程中建模行人与环境特征之间的互斥性，提升检索准确率。
• 开发一种多粒度、多模态对齐机制，以增强特征判别力和跨模态匹配能力。
• 构建一个真实、大规模的基准数据集（RSTPReid），以更好地在真实世界监控条件下评估方法。

提出的方法

• 环境-行人分离与融合机制强制实现行人与环境特征之间的互斥性，确保获得清晰、具有判别力的行人表征。
• 采用五种不同的对齐范式（AlignI–AlignIII，以及另外两种）在互斥约束下引导特征学习。
• 信号去噪模块（SDM）通过随机置零输入向量元素，并利用基于排序损失的自编码器进行重建，以去除噪声同时保留关键行人特征。
• 显著注意力模块（SAM）通过聚焦于提取出的行人信息中的判别性身体部位，增强局部视觉特征。
• SDM中的重建使用排序损失，其在检索性能上优于欧氏距离。
• 该框架通过端到端联合优化所有组件进行训练，实现有效的跨模态对齐。

实验结果

研究问题

• RQ1 显式分离行人与环境特征是否能提升文本驱动行人检索中的检索准确率？
• RQ2 在特征学习中强制实施行人与环境特征之间的互斥性，对特征质量与模型泛化能力有何影响？
• RQ3 去除无关视觉噪声的同时保留判别性行人线索的最优信号去噪策略是什么？
• RQ4 不同的对齐范式在互斥约束下如何促进有效的跨模态特征学习？
• RQ5 与现有基准相比，所提出方法在真实世界场景中的泛化能力如何？

主要发现

• DSSL在CUHK-PEDES上达到最先进性能，top-1、top-5和top-10准确率分别为59.98%、80.41%和87.56%。
• 结合跨模态重排序策略后，DSSL的top-1准确率进一步提升至62.33%，优于先前的SOTA方法。
• 信号去噪模块（SDM）在置零率r=0.5时表现最佳，而在更高置零率如r=0.9时性能下降。
• SDM中使用排序损失相比使用欧氏距离，top-1准确率提高1.05%，证明其在检索任务中的优越性。
• 移除显著注意力模块（SAM）导致top-1准确率下降2.03%，证实其在增强局部特征判别力方面的作用。
• 新构建的RSTPReid数据集基于MSMT17，包含来自15个不同摄像头的每名行人5张图像，覆盖复杂室内外场景，支持更真实的评估。