[论文解读] Recognizing Partial Biometric Patterns

Lingxiao He, Zhenan Sun+2 more|arXiv (Cornell University)|Oct 17, 2018

Face recognition and analysis参考文献 42被引用 84

一句话总结

本论文提出一种无对齐、端到端框架，使用空间特征重建（SFR）与批量困难三元组学习，在跨人重新识别与部分人脸识别任务中识别部分生物特征模式，在多个数据集上取得了最先进的结果。

ABSTRACT

Biometric recognition on partial captured targets is challenging, where only several partial observations of objects are available for matching. In this area, deep learning based methods are widely applied to match these partial captured objects caused by occlusions, variations of postures or just partial out of view in person re-identification and partial face recognition. However, most current methods are not able to identify an individual in case that some parts of the object are not obtainable, while the rest are specialized to certain constrained scenarios. To this end, we propose a robust general framework for arbitrary biometric matching scenarios without the limitations of alignment as well as the size of inputs. We introduce a feature post-processing step to handle the feature maps from FCN and a dictionary learning based Spatial Feature Reconstruction (SFR) to match different sized feature maps in this work. Moreover, the batch hard triplet loss function is applied to optimize the model. The applicability and effectiveness of the proposed method are demonstrated by the results from experiments on three person re-identification datasets (Market1501, CUHK03, DukeMTMC-reID), two partial person datasets (Partial REID and Partial iLIDS) and two partial face datasets (CASIA-NIR-Distance and Partial LFW), on which state-of-the-art performance is ensured in comparison with several state-of-the-art approaches. The code is released online and can be found on the website: https://github.com/lingxiao-he/Partial-Person-ReID.

研究动机与目标

• 处理因遮挡、姿态变化或部分视角导致目标仅部分可见时的生物识别问题。
• 开发一个不依赖输入大小或严格对齐的一般框架。
• 引入带字典学习的空间特征重建（SFR），以匹配任意大小的特征图。
• 将 SFR 嵌入到批量困难三元组学习框架中实现端到端优化。
• 在包括完整和部分重新识别以及部分人脸数据集在内的多样数据集上证明有效性。

提出的方法

• 使用全卷积网络（FCN）编码器从输入图像生成空间特征图。
• 应用包含全局平均池化（GAP）和金字塔池化的特征后处理单元，以获得全局与多尺度空间特征。
• 引入空间特征重建（SFR）：通过学习的线性组合对来自镜像集的每个空间特征进行重建，并带有 L2 正则化，实现对不同输入大小的对齐无关匹配。
• 基于重建残差计算空间特征重建距离 Ds(X, Y)，并将其与全局特征距离结合在一个融合度量中。
• 用批量困难三元组损失（BH）进行训练，以最大化不同身份之间的距离并最小化同一身份内的距离，并通过 SFR 扩展为 BH-SFR 以提高辨别力。
• 提供一个交替优化流程，先更新重建系数 W，然后反向传播通过 FCN 以优化 θ。

实验结果

研究问题

• RQ1 在不进行对齐的情况下，任意大小、部分可见的生物特征目标的识别是否鲁棒？
• RQ2 将全局特征与空间特征重建相结合，是否能提升跨 re-id 与部分人脸任务的部分生物识别？
• RQ3 在端到端训练中，结合空间特征重建的批量困难三元组学习效果如何？
• RQ4 该方法在标准与部分生物特征数据集（Market1501、CUHK03、DukeMTMC-reID、Partial-REID、Partial-iLIDS、CASIA-NIR-Distance、Partial LFW）上的性能如何？

主要发现

方法	Market1501 Rank-1	Market1501 mAP	Market1501 Rank-1（多查询）	Market1501 mAP（多查询）	CUHK03 Rank-1（有标签）	CUHK03 mAP（有标签）	CUHK03 Rank-1（检测）	CUHK03 mAP（检测）
SFR (ours)	93.04	81.02	94.84	85.47	67.29	61.47	63.86	58.97

• SFR 在标准与部分生物特征数据集上均显示出竞争性性能。
• 在 Market1501（单查询）上，SFR 达到 93.04% Rank-1 和 81.02% mAP，优于若干基线。
• 在 Market1501（多查询）上，SFR 达到 94.84% Rank-1 和 85.47% mAP。
• 在 CUHK03（有标签）上，SFR 达到 67.29% Rank-1 和 61.47% mAP；（检测） 63.86% Rank-1 和 58.97% mAP。
• 所提出的方法相对于多种同期方法（基于部件、蒙版引导、姿态引导和注意力机制等）显示出强劲的结果，并对尺度与对齐问题具有鲁棒性。