[论文解读] A Siamese Long Short-Term Memory Architecture for Human Re-Identification

Rahul Rama Varior, Bing Shuai+3 more|arXiv (Cornell University)|Jul 28, 2016

Video Surveillance and Tracking Methods参考文献 61被引用 62

一句话总结

该论文提出了一种孪生长短期记忆（LSTM）架构，通过图像区域的序列化处理建模空间依赖性，以增强行人重识别中的局部特征表示。通过利用LSTM的门控机制，模型选择性地传播具有判别性的上下文信息，在CUHK03数据集上达到最先进性能，在Market-1501和VIPeR数据集上取得具有竞争力的结果，mAP分别为35.31%、57.3%和42.4%。

ABSTRACT

Matching pedestrians across multiple camera views known as human re-identification (re-identification) is a challenging problem in visual surveillance. In the existing works concentrating on feature extraction, representations are formed locally and independent of other regions. We present a novel siamese Long Short-Term Memory (LSTM) architecture that can process image regions sequentially and enhance the discriminative capability of local feature representation by leveraging contextual information. The feedback connections and internal gating mechanism of the LSTM cells enable our model to memorize the spatial dependencies and selectively propagate relevant contextual information through the network. We demonstrate improved performance compared to the baseline algorithm with no LSTM units and promising results compared to state-of-the-art methods on Market-1501, CUHK03 and VIPeR datasets. Visualization of the internal mechanism of LSTM cells shows meaningful patterns can be learned by our method.

研究动机与目标

• 通过建模局部图像区域之间的空间依赖性，提升行人重识别中的判别性特征学习。
• 解决现有方法中独立提取局部特征所忽略上下文关系的局限性。
• 利用循环记忆机制，选择性地在图像区域间传播相关上下文信息。
• 证明基于LSTM的特征优化可提升多摄像头行人重识别中的匹配准确率。
• 通过定量评估和LSTM门控动态的可视化，验证模型的有效性。

提出的方法

• 模型采用共享权重的孪生架构，用于比较两组图像对，支持对比损失优化，实现判别性学习。
• 图像被划分为水平条带，并作为序列依次处理，使LSTM能够建模区域间的空间依赖性。
• 每个LSTM单元使用输入门、遗忘门和输出门调节信息流，根据相关性选择性地保留或丢弃上下文特征。
• 内部记忆机制使网络能够‘记忆’区域间的显著空间模式，从而提升特征的判别能力。
• 网络采用对比损失函数进行训练，使正样本对（相同身份）距离更近，负样本对（不同身份）距离更远。
• 从最终的LSTM隐藏状态中提取特征表示，其编码了局部外观与上下文关系的联合信息。

实验结果

研究问题

• RQ1 建模局部图像区域之间的空间依赖性是否能提升行人重识别中特征表示的判别能力？
• RQ2 基于LSTM的架构是否能有效学习并选择性地在图像区域间传播相关上下文信息？
• RQ3 使用孪生LSTM架构结合对比损失是否能相比基线方法提升匹配准确率？
• RQ4 LSTM单元的内部门控机制如何促进判别性上下文特征的选择？
• RQ5 所提方法在Market-1501、CUHK03和VIPeR等多样化重识别基准上的泛化能力如何？

主要发现

• 在CUHK03数据集上，所提方法达到57.3%的Rank-1准确率，优于文献中报告的所有其他单一方法。
• 在Market-1501数据集上，模型mAP达到35.31%，显著优于未使用LSTM单元的基线方法。
• 在VIPeR数据集上，方法达到42.4%的Rank-1准确率，尽管训练身份和正样本对有限，仍表现出强劲性能。
• LSTM门控的可视化显示有意义的激活模式，证实网络学会了选择性传播相关上下文信息。
• 该模型性能与最先进方法相当，尤其在CUHK03上，其Rank-1准确率在单一方法中最高。
• 消融实验验证了LSTM单元的引入可提升性能，证实了上下文建模在特征学习中的有效性。