[论文解读] Learning Deep Feature Representations with Domain Guided Dropout for Person Re-identification

Tong Xiao, Hongsheng Li+2 more|arXiv (Cornell University)|Apr 26, 2016

Video Surveillance and Tracking Methods参考文献 40被引用 100

一句话总结

该论文从多个行人再识别数据集学习通用的 CNN 特征，并引入 Domain Guided Dropout 以静音域内特异神经元，在若干数据集上实现了最新的 SOTA 结果。

ABSTRACT

Learning generic and robust feature representations with data from multiple domains for the same problem is of great value, especially for the problems that have multiple datasets but none of them are large enough to provide abundant data variations. In this work, we present a pipeline for learning deep feature representations from multiple domains with Convolutional Neural Networks (CNNs). When training a CNN with data from all the domains, some neurons learn representations shared across several domains, while some others are effective only for a specific one. Based on this important observation, we propose a Domain Guided Dropout algorithm to improve the feature learning procedure. Experiments show the effectiveness of our pipeline and the proposed algorithm. Our methods on the person re-identification problem outperform state-of-the-art methods on multiple datasets by large margins.

研究动机与目标

• 激励从多个带偏的行人再识别数据集学习鲁棒特征表示。
• 提出一个 CNN 架构和训练流程，联合使用多个领域以学习通用特征。
• 引入 Domain Guided Dropout 以抑制域特异神经元并正则化多域学习。
• 展示在若干标准 re-id 数据集上相较于 SOTA 的显著性能提升。

提出的方法

• 从零开始在合并的多域数据集上训练一个 CNN，以学习共享特征提取器 g，并使用单一 softmax 损失。
• 针对每个领域，计算对损失的平均神经元影响以识别域相关神经元。
• 用 Domain Guided Dropout（确定性或随机性）替代标准 Dropout，在训练期间静音域特异神经元。
• 可选地在每个域上使用随机 Domain Guided Dropout 进行微调，以最大化域特异性能。
• 在学习特征上使用欧氏距离进行行人 re-id 评估，而不是使用带成对损失的度量学习。

实验结果

研究问题

• RQ1 将多个域数据集合并是否能产生在所有域上表现良好的通用 CNN 特征表示？
• RQ2 是否存在域特异神经元，按域屏蔽它们是否能提升跨域性能？
• RQ3 Domain Guided Dropout（确定性和随机性）是否在多个数据集上相对于标准 dropout 和 JSTL 基线提高性能？

主要发现

方法	CUHK03	CUHK01	PRID	VIPeR	3DPeS	iLIDS
Best	62.1	53.4	17.9	45.9	54.2	52.1
Individually	72.6	34.4	37.0	12.3	31.1	27.5
JSTL	72.0	62.1	59.0	35.4	44.5	56.9
JSTL+DGD	72.5	63.0	60.0	37.7	45.6	59.6
FT-JSTL	74.8	66.2	57.0	37.7	54.0	61.1
FT-JSTL+DGD	75.3	66.6	64.0	38.6	56.0	64.6

• 联合训练的模型（JSTL）在大多数数据集上的性能优于在单一域上训练。
• Domain Guided Dropout（DGD）在 JSTL 之后在跨域上稳定提升 0.5%–2.7%。
• 在各自域上使用随机 DGD 进行微调相较 JSTL+DGD 还可带来额外提升，提升域特异准确度。
• 最佳结果通过 FT-JSTL+DGD 实现，超越多个数据集上先前的最佳方法。
• 报告的最大增益发生在组合多个数据集时，且在较小域上有显著提升。