[论文解读] Deep Spatial Feature Reconstruction for Partial Person Re-identification: Alignment-Free Approach

Lingxiao He, Jian Liang+2 more|arXiv (Cornell University)|Jan 3, 2018

Video Surveillance and Tracking Methods参考文献 26被引用 48

一句话总结

DSR提出一种无对齐的部分人观测重识别方法，使用Fully Convolutional Network生成固定大小的空间特征图，并在探针与图库块之间进行稀疏重建，在Partial REID和Partial-iLIDS上取得强结果，在Market1501上具有竞争力。

ABSTRACT

Partial person re-identification (re-id) is a challenging problem, where only several partial observations (images) of people are available for matching. However, few studies have provided flexible solutions to identifying a person in an image containing arbitrary part of the body. In this paper, we propose a fast and accurate matching method to address this problem. The proposed method leverages Fully Convolutional Network (FCN) to generate fix-sized spatial feature maps such that pixel-level features are consistent. To match a pair of person images of different sizes, a novel method called Deep Spatial feature Reconstruction (DSR) is further developed to avoid explicit alignment. Specifically, DSR exploits the reconstructing error from popular dictionary learning models to calculate the similarity between different spatial feature maps. In that way, we expect that the proposed FCN can decrease the similarity of coupled images from different persons and increase that from the same person. Experimental results on two partial person datasets demonstrate the efficiency and effectiveness of the proposed method in comparison with several state-of-the-art partial person re-id approaches. Additionally, DSR achieves competitive results on a benchmark person dataset Market1501 with 83.58\% Rank-1 accuracy.

研究动机与目标

• 因遮挡或视角变化导致仅能捕捉到身体部分的部分人重识别的动机。
• 开发一个快速、无对齐的匹配框架，能够处理任意尺寸的图像。
• 将稀疏重建与深度学习结合，鼓励同一身份的特征比不同身份的更易重建。
• 通过多尺度块表示增强鲁棒性，应对尺度变化。

提出的方法

• 使用一个Fully Convolutional Network (FCN)从任意尺寸输入生成固定大小的空间特征图。
• 将探针和图库的特征图划分为块，并将问题表述为稀疏重建：每个探针块由图库块通过L1正则化重建。
• 定义重建-based 相似度分数 d = (1/N) ||X - YW||F^2，用于比较探针与图库映射，其中W包含稀疏系数。
• 通过将识别损失（softmax/熵损失）与一个验证信号结合，端到端训练FCN，使同一身份对的X - YW最小化、不同身份对最大化。
• 引入多尺度块表示（1x1、2x2、3x3），提高对尺度变化的鲁棒性，并在各尺度之间共享特征以提高效率。
• 采用交替优化算法，迭代更新重建系数W和FCN参数θ（包含稀疏编码步骤和基于SGD的反向传播）。

实验结果

研究问题

• RQ1 一个对齐无关、基于块的匹配框架是否能在部分身体观测下准确识别个体？
• RQ2 将稀疏重建与FCN特征结合是否能在部分遮挡下提升同一身份和不同身份对之间的判别力？
• RQ3 多尺度块表示是否提高部分人重识别在尺度变化下的鲁棒性？
• RQ4 与现有的部分人重识别方法相比，DSR在Partial REID和Partial-iLIDS上的表现如何，在像Market1501这样的全身数据集上又如何？

主要发现

方法	Partial REID r=1	Partial REID r=3	Partial-iLIDS r=1	Partial-iLIDS r=3
尺寸调整模型	19.33	32.67	21.85	36.97
SWM [32]	24.33	45.00	33.61	47.06
AMC [32]	33.33	46.00	46.78	64.75
AMC+SWM [32]	36.00	51.00	49.58	63.34
DSR (单尺度)	39.33	55.67	51.06	61.66
DSR (多尺度)	43.00	60.33	54.58	64.50

• DSR在Partial REID和Partial-iLIDS的单镜头和多镜头设置中，均优于尺寸调整基线。
• 单尺度DSR在排名第一精度上优于基线（例如 Partial REID 39.33% vs 19.33%（r=1）），多尺度DSR进一步提升结果（Partial REID 43.00%，Partial-iLIDS 60.33%（单镜头））。
• 在多镜头实验中，DSR取得显著提升（Partial REID：单尺度49.33%、多尺度53.67%；Partial-iLIDS：54.67%与55.46%，分别对应r=1）。
• 在Partial REID和Partial-iLIDS上，采用多尺度块的DSR获得比对方法中的最佳表现（例如Partial-iLIDS上r=1的60.33%对比55.67%；在r=3时对AMC+SWM为53.67%对49.58%）。
• 在Market1501全身数据上，采用多尺度块的DSR实现83.58%的排名第一和64.25%的mAP，与将DSR特征融合后的若干基线相比具有竞争力甚至优越性。