[论文解读] Adversarial Attribute-Image Person Re-identification

Yin Zhou, Wei‐Shi Zheng+6 more|arXiv (Cornell University)|Dec 5, 2017

Video Surveillance and Tracking Methods参考文献 46被引用 6

一句话总结

该论文提出了一种对抗性属性-图像行人重识别框架，通过将图像特征与从属性生成的图像类比概念对齐，学习一个语义上具有区分性的联合嵌入空间。通过对抗性训练强制模态间语义一致性，该方法在Duke Attribute、Market Attribute和PETA数据集上优于现有跨模态模型，实现了最先进性能，且无需依赖不准确的属性预测。

ABSTRACT

While attributes have been widely used for person re-identification (Re-ID) which aims at matching the same person images across disjoint camera views, they are used either as extra features or for performing multi-task learning to assist the image-image matching task. However, how to find a set of person images according to a given attribute description, which is very practical in many surveillance applications, remains a rarely investigated cross-modality matching problem in person Re-ID. In this work, we present this challenge and formulate this task as a joint space learning problem. By imposing an attribute-guided attention mechanism for images and a semantic consistent adversary strategy for attributes, each modality, i.e., images and attributes, successfully learns semantically correlated concepts under the guidance of the other. We conducted extensive experiments on three attribute datasets and demonstrated that the proposed joint space learning method is so far the most effective method for the attribute-image cross-modality person Re-ID problem.

研究动机与目标

• 为解决在实际应用中却研究不足的属性-图像行人重识别问题，即用户使用语义属性查询行人图像。
• 克服基于属性预测方法的局限性，这些方法在监控环境下因准确率低和语义区分度差而表现不佳。
• 通过引入语义一致性正则化的对抗性训练，学习一个对齐图像与属性模态的联合嵌入空间。
• 证明从属性生成图像类比概念比从图像生成属性更有效于跨模态匹配。

提出的方法

• 提出一种生成对抗网络（GAN）框架，其中生成器从属性向量生成图像类比概念。
• 使用判别器区分真实图像特征与生成的图像类比概念，以增强生成概念的真实性。
• 应用语义一致性正则化损失，对齐真实图像与生成概念在潜在表示上的模态间特征。
• 采用联合训练策略，在优化生成器与判别器的同时，保持属性与图像之间的语义对应关系。
• 引入注意力机制，聚焦于特征提取过程中的判别性图像区域，以增强模态对齐。
• 使用结合对抗损失、重建损失和语义一致性损失的多损失目标，端到端训练模型。

实验结果

研究问题

• RQ1 通过语义一致性正则化的对抗性学习是否能有效弥合行人重识别中属性与图像之间的模态差距？
• RQ2 从属性生成图像类比概念是否比从图像生成属性更有效于跨模态匹配？
• RQ3 所提出的方法是否在属性-图像Re-ID任务中优于基于属性预测和标准跨模态检索模型？
• RQ4 超参数（如对抗损失和一致性损失权重）如何影响模型性能？

主要发现

• 所提出的对抗性框架结合语义一致性正则化，在Duke Attribute、Market Attribute和PETA数据集上均达到最先进性能，优于所有基线模型，包括DCCA、DCCAE、2WayNet和CMCE。
• 在Duke Attribute数据集上，模型达到78.6%的平均平均精度（mAP），显著高于第二名基线模型（68.2%）。
• 在Market Attribute数据集上，模型达到82.4%的mAP，超过CMCE模型（79.1%）及其他跨模态基线模型。
• 在PETA数据集上，模型实现71.3%的mAP，展现出在多样化属性与图像分布下的鲁棒性。
• 消融实验表明，语义一致性损失对性能至关重要，若移除该损失，Duke Attribute数据集上的mAP将下降12.5%。
• 定性结果表明，模型成功学习到细粒度特征（如背包样式），并减少了由无关图像细节引起错误的影响。