[论文解读] Learning a Semantically Discriminative Joint Space for Attribute Based Person Re-identification.

Zhou Yin, Wei‐Shi Zheng+4 more|arXiv (Cornell University)|Dec 5, 2017

Video Surveillance and Tracking Methods被引用 2

一句话总结

本文提出了一种用于基于属性的人重识别的新型联合空间学习框架，实现了图像与属性模态之间的跨模态匹配。通过整合属性引导的注意力机制与语义一致的对抗性策略，该方法学习到语义对齐的表征，在三个基于属性的 Re-ID 数据集上取得了最先进性能。

ABSTRACT

While attributes have been widely used for person re-identification (Re-ID) which aims at matching the same person images across disjoint camera views, they are used either as extra features or for performing multi-task learning to assist the image-image matching task. However, how to find a set of person images according to a given attribute description, which is very practical in many surveillance applications, remains a rarely investigated cross-modality matching problem in person Re-ID. In this work, we present this challenge and formulate this task as a joint space learning problem. By imposing an attribute-guided attention mechanism for images and a semantic consistent adversary strategy for attributes, each modality, i.e., images and attributes, successfully learns semantically correlated concepts under the guidance of the other. We conducted extensive experiments on three attribute datasets and demonstrated that the proposed joint space learning method is so far the most effective method for the attribute-image cross-modality person Re-ID problem.

研究动机与目标

• 为解决在监控应用中基于属性描述检索人像这一尚未充分探索的跨模态匹配问题。
• 学习一个共享语义空间，通过相互监督使图像与属性在语义上对齐。
• 在不将属性作为辅助特征或用于多任务学习的前提下，提升基于属性的人重识别的有效性。
• 开发一种联合表征学习框架，以实现零样本基于属性的图像检索。

提出的方法

• 引入一种属性引导的注意力机制，在特征学习过程中动态聚焦于与给定属性相关的图像区域。
• 采用语义一致的对抗性策略，将图像与属性的潜在表征在共享联合空间中对齐。
• 使用双流网络架构，同时学习图像与属性嵌入，并引入跨模态一致性损失。
• 应用对抗性训练，以确保属性嵌入与对应图像特征在语义上保持一致。
• 通过对比损失与对抗性损失的组合优化联合空间，以增强判别能力。

实验结果

研究问题

• RQ1 能否学习到一个联合嵌入空间，以实现人像与属性描述之间的有效跨模态匹配？
• RQ2 属性引导的注意力如何改善图像特征与语义属性之间的对齐？
• RQ3 语义一致的对抗性策略在多大程度上增强了联合表征的判别能力？
• RQ4 与现有基于属性的 Re-ID 方法相比，所提方法在检索准确率方面表现如何？

主要发现

• 所提方法在三个基准基于属性的人重识别数据集上取得了最先进性能。
• 属性引导注意力机制的引入显著提升了模型聚焦于与属性匹配相关图像区域的能力。
• 语义一致的对抗性训练策略增强了图像与属性嵌入之间的对齐，从而提升了泛化能力。
• 该方法实现了高效的零样本基于属性的图像检索，优于将属性视为辅助信号的现有方法。