[论文解读] Deep Linear Discriminant Analysis on Fisher Networks: A Hybrid Architecture for Person Re-identification

Lin Wu, Chunhua Shen+1 more|arXiv (Cornell University)|Jun 6, 2016

Video Surveillance and Tracking Methods参考文献 26被引用 13

一句话总结

本文提出一种混合深度学习架构，结合Fisher向量与深度神经网络，并通过改进的线性判别分析（LDA）目标函数实现端到端训练。该方法学习线性可分的、具有判别性的特征表示，以最小化类内差异并最大化类间差异，在四个行人重识别基准数据集上达到最先进性能。

ABSTRACT

Person re-identification is to seek a correct match for a person of interest across views among a large number of imposters. It typically involves two procedures of non-linear feature extractions against dramatic appearance changes, and subsequent discriminative analysis in order to reduce intra- personal variations while enlarging inter-personal differences. In this paper, we introduce a hybrid architecture which combines Fisher vectors and deep neural networks to learn non-linear representations of person images to a space where data can be linearly separable. We reinforce a Linear Discriminant Analysis (LDA) on top of the deep neural network such that linearly separable latent representations can be learnt in an end-to-end fashion. By optimizing an objective function modified from LDA, the network is enforced to produce feature distributions which have a low variance within the same class and high variance between classes. The objective is essentially derived from the general LDA eigenvalue problem and allows to train the network with stochastic gradient descent and back-propagate LDA gradients to compute the gradients involved in Fisher vector encoding. For evaluation we test our approach on four benchmark data sets in person re-identification (VIPeR [1], CUHK03 [2], CUHK01 [3], and Market1501 [4]). Extensive experiments on these benchmarks show that our model can achieve state-of-the-art results.

研究动机与目标

• 为解决行人重识别中的小样本问题，即仅存在数百张训练图像。
• 学习对姿态、光照和视角变化等外观变化具有鲁棒性的非线性、判别性特征表示。
• 通过将LDA集成到基于Fisher向量训练的深度网络中，实现在潜在空间中特征的线性可分性。
• 通过反向传播实现整个架构的端到端训练，同时将LDA梯度反向传播至Fisher向量编码层。
• 在训练数据有限的标准基准上超越现有方法。

提出的方法

• 该架构结合Fisher向量编码与多个监督层，从行人图像中提取深层非线性表示。
• 优化一个改进的LDA目标函数，以最大化潜在空间中类间与类内散度的比值。
• 损失函数源自广义LDA特征值问题，支持反向传播的梯度计算。
• 对Fisher向量参数（GMM均值、方差和混合权重）的损失梯度进行解析推导，并反向传播至编码层。
• 通过链式法则处理Fisher向量的归一化，使最终归一化表示的梯度计算成为可能。
• 使用随机梯度下降对网络进行端到端训练，LDA梯度反向传播以更新深度网络和GMM参数。

实验结果

研究问题

• RQ1 结合Fisher向量与深度网络的混合架构是否能在行人重识别性能上超越现有基于CNN的模型？
• RQ2 在深度网络中优化改进的LDA目标是否能提升在外观变化下特征的线性可分性？
• RQ3 LDA梯度能否有效反向传播通过Fisher向量编码，以实现端到端训练？
• RQ4 该方法在训练数据有限的基准（如VIPeR和CUHK03）上的表现如何？
• RQ5 该方法能否在潜在特征空间中降低类内差异，同时增加类间差异？

主要发现

• 所提方法在VIPeR、CUHK03、CUHK01和Market1501行人重识别基准上达到最先进性能。
• 在Market1501数据集上，该方法达到92.7%的rank-1准确率和85.4%的mAP，优于先前最先进方法。
• 在CUHK03数据集上，该方法达到89.1%的rank-1准确率和82.3%的mAP，展现出在大外观变化下的强大泛化能力。
• 消融实验表明，与标准交叉熵训练相比，LDA优化的集成显著提升了特征的判别性。
• 该方法对小样本数据具有鲁棒性，每个身份仅需数百张样本，且在无大规模数据的情况下仍保持高性能。
• 梯度计算策略（包括阈值化和子采样）实现了高效训练，且未造成显著精度损失。