[论文解读] Gated Siamese Convolutional Neural Network Architecture for Human Re-Identification

Rahul Rama Varior, Mrinal Haloi+1 more|arXiv (Cornell University)|Jul 28, 2016

Video Surveillance and Tracking Methods参考文献 51被引用 73

一句话总结

本文提出一种带有可学习匹配门（Matching Gate, MG）的门控孪生卷积神经网络（Gated Siamese Convolutional Neural Network, S-CNN），通过动态强调图像对之间的中层局部特征，提升行人重识别性能。通过使用可微分的高斯门控函数比较水平条带特征，网络自适应增强具有判别性的局部模式，在强基线S-CNN的基础上，于CUHK03数据集实现4.2%的Rank-1准确率提升，于Market-1501（SQ）数据集实现3.56%的提升，达到当前最优性能。

ABSTRACT

Matching pedestrians across multiple camera views, known as human re-identification, is a challenging research problem that has numerous applications in visual surveillance. With the resurgence of Convolutional Neural Networks (CNNs), several end-to-end deep Siamese CNN architectures have been proposed for human re-identification with the objective of projecting the images of similar pairs (i.e. same identity) to be closer to each other and those of dissimilar pairs to be distant from each other. However, current networks extract fixed representations for each image regardless of other images which are paired with it and the comparison with other images is done only at the final level. In this setting, the network is at risk of failing to extract finer local patterns that may be essential to distinguish positive pairs from hard negative pairs. In this paper, we propose a gating function to selectively emphasize such fine common local patterns by comparing the mid-level features across pairs of images. This produces flexible representations for the same image according to the images they are paired with. We conduct experiments on the CUHK03, Market-1501 and VIPeR datasets and demonstrate improved performance compared to a baseline Siamese CNN architecture.

研究动机与目标

• 解决孪生CNN中固定特征表示的局限性，该局限性无法适应图像对的上下文信息。
• 通过选择性强调图像对之间的共现局部模式，提升对困难负样本对的判别能力。
• 设计一种可微分、可学习的门控机制，作用于中层特征，以增强特征传播。
• 为未来在标准基准上的监督行人重识别方法建立一个强基线S-CNN。
• 证明通过门控实现的运行时特征选择可提升特征判别性与检索性能。

提出的方法

• 提出一种匹配门（MG），通过比较图像对中水平条带的中层特征来计算相似性得分。
• 使用条带级特征摘要之间的欧氏距离计算相似性，随后通过高斯激活函数生成[0,1]范围内的门控值。
• 将学习得到的门控值应用于高层网络，以门控并增强相关特征，提升判别性表征能力。
• 将MG集成为可微分的参数化函数，支持端到端反向传播与联合训练。
• 采用共享权重的孪生CNN架构进行特征提取，并在卷积块之间插入MG模块。
• 使用带边缘的三元组损失进行网络训练，以在嵌入空间中拉近正样本对、推远负样本对。

实验结果

研究问题

• RQ1 一种可学习的门控机制，通过比较中层特征，能否提升孪生CNN在行人重识别任务中的性能？
• RQ2 基于图像对相似性的动态、上下文感知特征增强，是否能更好地判别困难负样本？
• RQ3 所提出的匹配门能否在标准行人重识别基准上超越固定表示的孪生网络？
• RQ4 门控机制如何增强低层与中层的梯度流动，促进特征学习？
• RQ5 与基线S-CNN相比，该方法在mAP和Rank-1准确率上的提升程度如何？

主要发现

• 所提出的门控孪生CNN在CUHK03数据集上相较基线S-CNN实现了4.2%的Rank-1准确率提升。
• 在Market-1501数据集上，该方法在单查询设置下Rank-1准确率提升3.56%，在多查询设置下提升3.12%。
• 最终模型在Market-1501（SQ）上mAP提升3.32%，在Market-1501（MQ）上提升3.06%，在CUHK03上提升3.27%，表明检索性能更优。
• 可视化结果表明，匹配门在正样本对的对应局部区域（如帽子、背包）上显著激活，同时抑制不相似区域。
• 门控机制增强了向低层的梯度流动，促使网络学习到能提取判别性局部模式的卷积滤波器。
• 基线S-CNN在三个数据集上均优于大量先前的深度学习与手工设计方法，确立了强大的性能基准。