[论文解读] Attention-based Few-Shot Person Re-identification Using Meta Learning

Alireza Rahimpour, Hairong Qi|arXiv (Cornell University)|Jun 24, 2018

Video Surveillance and Tracking Methods参考文献 14被引用 6

一句话总结

本文提出ARM，一种用于少样本行人重识别的端到端注意力元学习框架，通过元学习优化实现仅用极少样本即可快速适应新身份。通过为查询图像和图库图像分别设计基于注意力的编码器，建模跨视角和视角内关系，ARM在PRID2011、CUHK01、CUHK03和Market1501数据集上达到最先进性能，展现出在低样本场景下的优越泛化能力和判别性特征学习能力。

ABSTRACT

In this paper, we investigate the challenging task of person re-identification from a new perspective and propose an end-to-end attention-based architecture for few-shot re-identification through meta-learning. The motivation for this task lies in the fact that humans, can usually identify another person after just seeing that given person a few times (or even once) by attending to their memory. On the other hand, the unique nature of the person re-identification problem, i.e., only few examples exist per identity and new identities always appearing during testing, calls for a few shot learning architecture with the capacity of handling new identities. Hence, we frame the problem within a meta-learning setting, where a neural network based meta-learner is trained to optimize a learner i.e., an attention-based matching function. Another challenge of the person re-identification problem is the small inter-class difference between different identities and large intra-class difference of the same identity. In order to increase the discriminative power of the model, we propose a new attention-based feature encoding scheme that takes into account the critical intra-view and cross-view relationship of images. We refer to the proposed Attention-based Re-identification Metalearning model as ARM. Extensive evaluations demonstrate the advantages of the ARM as compared to the state-of-the-art on the challenging PRID2011, CUHK01, CUHK03 and Market1501 datasets.

研究动机与目标

• 为解决每个身份仅有极少训练样本的行人重识别挑战，特别是在新身份持续出现的真实监控系统中。
• 克服现有方法依赖大规模标注数据或因基于成对或三元组的损失函数导致泛化能力差的局限性。
• 通过显式建模图库图像之间的关系（视角内）以及查询图像与图库图像之间的关系（跨视角），提升特征判别能力。
• 通过元学习训练一个‘学习者’网络，实现在推理阶段对未见身份的快速适应，从而实现从少量样本中泛化。
• 设计统一的端到端架构，将注意力机制整合到查询和图库特征编码中，以提升匹配性能。

提出的方法

• 该模型采用元学习框架，其中元学习器优化一个负责将查询图像与图库图像匹配的‘学习者’网络。
• 基于注意力的图库编码器建模同一身份的多张图库图像之间的视角内关系，通过上下文聚合增强特征表示。
• 基于注意力的查询编码器通过关注所有图库特征来建模跨视角关系，使查询在匹配过程中能动态聚焦于相关图库图像。
• 两种编码器中的注意力机制使网络能够选择性地传播相关上下文信息，在视角变化和外观差异存在的情况下提升判别能力。
• 整个架构通过直接反映少样本重识别任务的元学习目标进行端到端训练，无需硬负样本挖掘或边缘调参。
• 注意力机制中的记忆结构支持元学习器学习如何高效更新学习者，从而实现对新身份的零样本泛化。

实验结果

研究问题

• RQ1 元学习能否使深度学习模型在每个身份仅有少量标注样本的情况下，泛化到行人重识别中的新身份？
• RQ2 注意力机制如何有效建模视角内（图库）和跨视角（查询到图库）关系，以提升特征判别性？
• RQ3 端到端的基于注意力的元学习框架是否在低样本设置下优于现有的Siamese、三元组或分类方法？
• RQ4 所提出的基于注意力的特征编码在多大程度上减轻了视角变化、遮挡和外观不一致对行人重识别的影响？
• RQ5 由于采用元学习范式，该模型是否能在无需微调或架构修改的情况下泛化到未见身份？

主要发现

• ARM在PRID2011、CUHK01、CUHK03和Market1501基准上达到最先进性能，在少样本重识别设置下优于现有方法。
• 基于注意力的图库编码器通过捕捉同一身份多张图像之间的视角内关系，显著提升了特征表示能力。
• 查询编码器能够关注所有图库特征，从而提升跨视角匹配准确率，尤其在视角和外观差异较大的情况下表现更优。
• 元学习框架使模型在推理阶段能快速适应新身份，无需对新类别进行微调或重新训练。
• 与基于三元组和成对匹配的方法相比，该模型展现出更优越的泛化能力，后者常因仅依赖训练阶段的难负样本或固定边缘而泛化能力差。
• 大量实验证明，所提出的注意力机制与元学习策略协同增强了判别性特征学习，从而在多样化的低样本身份数据集上实现了持续的性能提升。