[论文解读] Attention: A Big Surprise for Cross-Domain Person Re-Identification

Haijun Liu, Jian Cheng+2 more|arXiv (Cornell University)|May 30, 2019

Video Surveillance and Tracking Methods参考文献 58被引用 9

一句话总结

本文提出了一种简单但极为有效的基于注意力机制的跨域行人重识别方法，无需使用任何目标域数据即可提升模型的泛化能力和适应性。通过在跳跃连接中整合通道注意力和空间注意力机制到预训练模型中，该方法实现了最先进性能，超越了依赖复杂辅助目标域信息的方法，尤其在零样本跨域设置下表现突出。

ABSTRACT

In this paper, we focus on model generalization and adaptation for cross-domain person re-identification (Re-ID). Unlike existing cross-domain Re-ID methods, leveraging the auxiliary information of those unlabeled target-domain data, we aim at enhancing the model generalization and adaptation by discriminative feature learning, and directly exploiting a pre-trained model to new domains (datasets) without any utilization of the information from target domains. To address the discriminative feature learning problem, we surprisingly find that simply introducing the attention mechanism to adaptively extract the person features for every domain is of great effectiveness. We adopt two popular type of attention mechanisms, long-range dependency based attention and direct generation based attention. Both of them can perform the attention via spatial or channel dimensions alone, even the combination of spatial and channel dimensions. The outline of different attentions are well illustrated. Moreover, we also incorporate the attention results into the final output of model through skip-connection to improve the features with both high and middle level semantic visual information. In the manner of directly exploiting a pre-trained model to new domains, the attention incorporation method truly could enhance the model generalization and adaptation to perform the cross-domain person Re-ID. We conduct extensive experiments between three large datasets, Market-1501, DukeMTMC-reID and MSMT17. Surprisingly, introducing only attention can achieve state-of-the-art performance, even much better than those cross-domain Re-ID methods utilizing auxiliary information from the target domain.

研究动机与目标

• 解决在不依赖目标域标注的情况下，跨域行人重识别中的模型泛化与适应性挑战。
• 探究仅依靠注意力机制是否能显著提升在域偏移下的特征判别力与鲁棒性。
• 证明将简单注意力模块集成到预训练模型中，可超越使用辅助目标数据的复杂域自适应方法。
• 建立一个仅依赖源域数据和基于注意力的特征学习的强基准跨域 Re-ID 方法。

提出的方法

• 引入两种注意力机制：基于长距离依赖（如 CBAM）和直接生成（如挤压-激励）的机制，分别或联合应用于空间和通道维度。
• 在预训练卷积神经网络（如 ResNet）的多个阶段应用注意力模块，使模型能够自适应地聚焦于判别性区域和通道。
• 使用跳跃连接将原始特征与注意力调制后的特征拼接，以同时保留高层语义信息和中层空间细节。
• 仅在源域上使用标准分类损失（如 Softmax 和三元组损失）进行端到端训练，无需在目标数据上微调。
• 在 Market-1501、DukeMTMC-reID 和 MSMT17 上评估该方法在单域和跨域设置下的性能。
• 通过架构修改和训练策略优化，在引入注意力机制前建立强基准模型。

实验结果

研究问题

• RQ1 仅依靠注意力机制是否能显著提升跨域行人重识别中的模型泛化与适应能力？
• RQ2 在不使用任何目标域数据的情况下，将注意力机制集成到预训练模型中，是否能超越使用辅助目标信息的现有方法？
• RQ3 注意力机制在大幅域偏移（如 Market-1501 与 DukeMTMC-reID）下的跨域特征学习中有多有效？
• RQ4 在零样本跨域 Re-ID 中，结合空间与通道注意力对特征表示质量有何影响？
• RQ5 在跨域 Re-ID 任务中，简单注意力模块是否能超越复杂的域自适应框架？

主要发现

• 所提出的基于注意力的方法（命名为 ADFL）在跨域 Re-ID 基准上实现了最先进性能，超越了使用大量辅助目标域信息的方法。
• 在 Market-1501 → DukeMTMC-reID 设置下，该方法达到 56.8% Rank-1 和 37.4% mAP，较最佳先前方法（PAP-ST-PS）在 Rank-1 上提升 10.4%，在 mAP 上提升 1.4%。
• 在 DukeMTMC-reID → Market-1501 设置下，该方法达到 67.2% Rank-1 和 36.3% mAP，超过次佳方法（PAP-ST-PS）1.1%（Rank-1）和 0.5%（mAP）。
• 即使在单域设置下，该方法也表现出强劲性能（如在 MSMT17 → MSMT17 上达到 78.2% Rank-1），表明其鲁棒性与泛化能力。
• 消融实验证实，注意力机制的引入显著提升了特征判别力，尤其在结合跳跃连接以保留多层级特征时效果更明显。
• 结果表明，仅依靠注意力机制即可实现优越的跨域泛化能力，挑战了‘复杂域自适应是此类任务所必需’的假设。