[论文解读] Memory Regulation and Alignment toward Generalizer RGB-Infrared Person

Feng Chen, Fei Wu+2 more|arXiv (Cornell University)|Sep 18, 2021

Video Surveillance and Tracking Methods参考文献 36被引用 5

一句话总结

该论文提出了一种多粒度记忆调节与对齐（MG-MRA）模块，以解决RGB-红外行人重识别中的域偏移问题，通过减少模型对已见类别特征的过度自信来实现。通过在多个语义粒度上引入可学习的全局结构原型，并利用记忆概率调节注意力，MG-MRA 提升了零样本泛化能力，在 RegDB 和 SYSU-MM01 数据集上实现了最先进性能，且在不同超参数设置下均保持一致的性能提升。

ABSTRACT

The domain shift, coming from unneglectable modality gap and non-overlapped identity classes between training and test sets, is a major issue of RGB-Infrared person re-identification. A key to tackle the inherent issue -- domain shift -- is to enforce the data distributions of the two domains to be similar. However, RGB-IR ReID always demands discriminative features, leading to over-rely feature sensitivity of seen classes, extit{e.g.}, via attention-based feature alignment or metric learning. Therefore, predicting the unseen query category from predefined training classes may not be accurate and leads to a sub-optimal adversarial gradient. In this paper, we uncover it in a more explainable way and propose a novel multi-granularity memory regulation and alignment module (MG-MRA) to solve this issue. By explicitly incorporating a latent variable attribute, from fine-grained to coarse semantic granularity, into intermediate features, our method could alleviate the over-confidence of the model about discriminative features of seen classes. Moreover, instead of matching discriminative features by traversing nearest neighbor, sparse attributes, extit{i.e.}, global structural pattern, are recollected with respect to features and assigned to measure pair-wise image similarity in hashing. Extensive experiments on RegDB \cite{RegDB} and SYSU-MM01 \cite{SYSU} show the superiority of the proposed method that outperforms existing state-of-the-art methods. Our code is available in https://github.com/Chenfeng1271/MGMRA.

研究动机与目标

• 解决由模态差异和未见身份类别引起的 RGB-红外 ReID 中的域偏移问题。
• 减少模型对已见训练类别判别性特征的过度自信，从而阻碍零样本泛化。
• 通过引入可学习的、多粒度的记忆机制以捕捉全局结构模式，提升对未见身份的泛化能力。
• 提供一种鲁棒且对超参数不敏感的模块，无需重新调参即可提升性能。

提出的方法

• 提出一种贝叶斯网络模型，显式建模一个可学习的潜在属性变量 $ m $，表示从细粒度到粗粒度的语义粒度上的全局结构原型。
• 将记忆概率 $ p(m|x) $ 嵌入预测头，以降低对已见类别判别性特征的过度自信。
• 使用多粒度记忆库存储并检索来自多样化身份的代表性结构模式，独立于局部注意力线索 $ z $。
• 用记忆增强的特征表示替代全局平均池化（GAP），以避免语义坍塌并保留低频域级信息。
• 采用改进的三元组损失 $ \mathcal{L}_{sem} $，利用稀疏的全局结构属性进行成对相似性计算，而非最近邻匹配。
• 设计 MG-MRA 模块为即插即用形式，可兼容现有 ReID 框架，无需架构重构或额外标注。

实验结果

研究问题

• RQ1 对已见类别判别性特征的过度自信在 RGB-IR ReID 中如何损害零样本泛化能力？
• RQ2 可学习的、多粒度记忆机制是否能有效调节模型注意力，使其远离对已见类别线索的过拟合？
• RQ3 引入全局结构原型是否能提升开放集 ReID 中对未见身份的泛化能力？
• RQ4 所提出的 MG-MRA 模块在训练超参数变化下是否具有鲁棒性？
• RQ5 MG-MRA 是否能有效集成到现有 ReID 模型中，而无需重新训练或修改架构？

主要发现

• MG-MRA 在 RegDB 和 SYSU-MM01 两个数据集上均达到最先进性能，优于现有 SOTA 方法。
• 在 SYSU-MM01 上，MG-MRA 在不同超参数设置下将 HCT 基线性能提升了 2-3%，表现出良好的鲁棒性。
• 可视化结果表明，MG-MRA 减少了对非判别性区域的关注，并在 t-SNE 中促进更均衡、更分散的特征分布。
• 注意力热力图证实，MG-MRA 有效缓解了对训练集特有判别性区域的过度集中关注，从而提升泛化能力。
• 该方法在不同批量大小和学习率下均保持一致的性能增益，表明对超参数调优具有较低敏感性。
• MG-MRA 与使用全局最大池化（GMP）的模型不兼容，因优化崩溃所致，凸显了架构上的限制。