[论文解读] Dynamic Prototype Mask for Occluded Person Re-Identification

Lei Tan, Pingyang Dai+2 more|arXiv (Cornell University)|Jul 19, 2022

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文提出动态原型掩码（DPM），一种新颖的端到端框架，用于遮挡行人重识别，通过从高质量整体原型中学习动态掩码以选择可见特征子空间，消除了对额外预训练网络的依赖。通过集成分层掩码生成器与头增强模块，DPM 实现了自动、原型驱动的特征对齐，并在遮挡 ReID 基准上达到最先进性能，Occluded-Duke 数据集上 rank-1 准确率达 71.0%，mAP 达 61.0%。

ABSTRACT

Although person re-identification has achieved an impressive improvement in recent years, the common occlusion case caused by different obstacles is still an unsettled issue in real application scenarios. Existing methods mainly address this issue by employing body clues provided by an extra network to distinguish the visible part. Nevertheless, the inevitable domain gap between the assistant model and the ReID datasets has highly increased the difficulty to obtain an effective and efficient model. To escape from the extra pre-trained networks and achieve an automatic alignment in an end-to-end trainable network, we propose a novel Dynamic Prototype Mask (DPM) based on two self-evident prior knowledge. Specifically, we first devise a Hierarchical Mask Generator which utilizes the hierarchical semantic to select the visible pattern space between the high-quality holistic prototype and the feature representation of the occluded input image. Under this condition, the occluded representation could be well aligned in a selected subspace spontaneously. Then, to enrich the feature representation of the high-quality holistic prototype and provide a more complete feature space, we introduce a Head Enrich Module to encourage different heads to aggregate different patterns representation in the whole image. Extensive experimental evaluations conducted on occluded and holistic person re-identification benchmarks demonstrate the superior performance of the DPM over the state-of-the-art methods. The code is released at https://github.com/stone96123/DPM.

研究动机与目标

• 为解决真实监控场景中障碍物遮挡判别性身体部位所带来的持续挑战。
• 消除对额外预训练网络（如关键点或语义分割网络）的依赖，这些网络会引入领域差距和误差传播。
• 通过将遮挡对齐转化为动态子空间选择任务，实现自动、端到端可训练的特征对齐。
• 通过头增强模块，鼓励多头 Transformer 中不同注意力头关注不同的空间模式，从而增强原型表征。

提出的方法

• 提出分层掩码生成器（HMG），利用分层语义特征从高质量整体原型中动态选择可见模式子空间，实现遮挡特征的自动对齐。
• 引入头增强模块（HEM），明确鼓励 Transformer 中不同注意力头关注不同的空间模式，降低注意力相关性，丰富特征表征。
• 在 L2 归一化前对整体原型矩阵应用原型掩码，确保仅使用相关可见组件进行最终分类。
• 采用包含超参数 α 和 β 的多组件损失函数，以平衡原型学习、掩码学习与注意力多样性。
• 采用动态掩码机制，根据每张样本的可见内容自适应调整，避免使用固定或预定义的注意力图。
• 端到端训练整个网络，实现原型学习、掩码生成与特征表征的联合优化。

实验结果

研究问题

• RQ1 我们能否在不依赖额外预训练网络的前提下，实现遮挡行人重识别的性能保持或提升？
• RQ2 如何在不依赖人工设计的身体部位监督的情况下，实现遮挡 ReID 中自动、端到端的特征对齐？
• RQ3 通过鼓励多头 Transformer 中注意力模式的多样性，能否改善原型表征？
• RQ4 在平衡原型学习、掩码学习与注意力多样性方面，最优超参数 α 和 β 的配置是什么？
• RQ5 在 L2 归一化前或后应用掩码，哪种方式能获得更好的性能？

主要发现

• 所提出的 DPM 在 Occluded-Duke 数据集上实现了 71.0% 的 rank-1 准确率与 61.0% 的 mAP，优于最先进方法。
• 平衡原型学习与掩码学习的最优超参数 α 为 0.5，超过此值性能下降，因掩码学习被过度强调。
• 注意力多样性的最优超参数 β 为 0.10，该值在保持强 rank-1 准确率的同时最大化 mAP。
• 在 L2 归一化前对原型应用掩码，性能优于归一化后应用。
• 头增强模块显著降低了头之间的注意力相关性，如互相关矩阵数值下降所示，证实了模式多样性的提升。
• DPM 框架在不使用任何额外预训练网络的情况下实现优越性能，证明了其在真实世界遮挡 ReID 场景中的鲁棒性与泛化能力。