[论文解读] Image-Specific Information Suppression and Implicit Local Alignment for Text-based Person Search

Shuanglin Yan, Hao Tang+2 more|arXiv (Cornell University)|Aug 30, 2022

Video Surveillance and Tracking Methods被引用 9

一句话总结

本文提出MANet，一种用于文本驱动行人检索的多层级对齐网络，通过关系引导定位与通道注意力过滤模块抑制图像特异性噪声（如背景和环境因素），并借助模态共享的语义主题中心隐式学习细粒度的图文对应关系，无需显式生成局部区域或直接的跨模态交互。该方法在仅带来微小推理成本增加的情况下实现了最先进性能。

ABSTRACT

Text-based person search (TBPS) is a challenging task that aims to search pedestrian images with the same identity from an image gallery given a query text. In recent years, TBPS has made remarkable progress and state-of-the-art methods achieve superior performance by learning local fine-grained correspondence between images and texts. However, most existing methods rely on explicitly generated local parts to model fine-grained correspondence between modalities, which is unreliable due to the lack of contextual information or the potential introduction of noise. Moreover, existing methods seldom consider the information inequality problem between modalities caused by image-specific information. To address these limitations, we propose an efficient joint Multi-level Alignment Network (MANet) for TBPS, which can learn aligned image/text feature representations between modalities at multiple levels, and realize fast and effective person search. Specifically, we first design an image-specific information suppression module, which suppresses image background and environmental factors by relation-guided localization and channel attention filtration respectively. This module effectively alleviates the information inequality problem and realizes the alignment of information volume between images and texts. Secondly, we propose an implicit local alignment module to adaptively aggregate all pixel/word features of image/text to a set of modality-shared semantic topic centers and implicitly learn the local fine-grained correspondence between modalities without additional supervision and cross-modal interactions. And a global alignment is introduced as a supplement to the local perspective. The cooperation of global and local alignment modules enables better semantic alignment between modalities. Extensive experiments on multiple databases demonstrate the effectiveness and superiority of our MANet.

研究动机与目标

• 通过缓解由图像特异性背景和环境因素引起的模态间信息不平等，解决文本驱动行人检索中的模态差距问题。
• 消除对显式生成局部区域的依赖，因为这些区域容易在细粒度对齐中受到噪声和上下文干扰的影响。
• 在无需额外监督或直接跨模态交互的情况下，隐式学习图像与文本之间的局部对应关系。
• 联合优化全局与局部对齐，以提升模态间语义对齐效果。
• 开发一种轻量化、高效的模型，在保持高性能的同时实现低计算成本。

提出的方法

• 图像特异性信息抑制模块利用关系引导定位，借助全局上下文突出行人区域，减少背景干扰。
• 通过实例归一化与通道级注意力实现通道注意力过滤，以抑制光照、天气等环境因素。
• 隐式局部对齐（ILA）模块将图像与文本特征自适应地聚合到一组可学习的、模态共享的语义主题中心中，从而隐式学习局部对应关系。
• 每个语义中心动态关注相关图像区域与文本词汇，实现细粒度对齐，而无需显式部件匹配或跨模态交互。
• 引入全局对齐模块，提供互补的、粗粒度的跨模态度量。
• 整个网络通过结合全局与局部对齐监督的联合损失函数进行端到端训练。

实验结果

研究问题

• RQ1 如何有效抑制背景和环境因素等图像特异性信息，以减少文本驱动行人检索中的信息不平等？
• RQ2 是否可以在不依赖显式生成的局部区域或直接跨模态交互的情况下，隐式学习细粒度的图像-文本对应关系？
• RQ3 将隐式局部对齐与全局对齐相结合，对检索性能有何影响？
• RQ4 与现有最先进方法相比，所提出方法在TBPS中的效率与准确性如何？
• RQ5 模态共享的语义主题中心在多大程度上实现了对多样化行人描述的鲁棒且自适应的特征对齐？

主要发现

• MANet在CUHK-PEDES数据集上达到63.92%的rank-1准确率，较基线提升6.12个百分点。
• 图像特异性信息抑制模块显著提升性能，响应图可视化结果清晰显示行人区域被突出，证明其有效减少了背景与环境噪声。
• 隐式局部对齐模块成功学习到细粒度对应关系，每个语义中心均能关注语义相关的图像区域与文本词汇。
• 尽管增加了模块，该方法仅带来少量推理时间增加（15.422秒 vs. 基线13.722秒），展现出高效率。
• 消融实验确认，抑制模块与隐式对齐模块均不可或缺，两者对性能提升均有显著贡献。
• 定性结果表明，MANet的检索结果比基线更准确，即使在基线失败时，也能常在前3名内识别出正确行人。