[论文解读] Cross-Entropy Adversarial View Adaptation for Person Re-identification

Lin Wu, Richang Hong+2 more|arXiv (Cornell University)|Apr 3, 2019

Video Surveillance and Tracking Methods参考文献 62被引用 5

一句话总结

该论文提出了一种用于行人重识别的交叉熵对抗性视角自适应方法，通过学习非对称的、视角特定的特征映射来减少跨视角差异。通过联合优化视角混淆目标与熵正则化，并结合相似性判别器，该模型在基准数据集上实现了最先进性能，且无需成对图像生成或对称网络架构。

ABSTRACT

Person re-identification (re-ID) is a task of matching pedestrians under disjoint camera views. To recognise paired snapshots, it has to cope with large cross-view variations caused by the camera view shift. Supervised deep neural networks are effective in producing a set of non-linear projections that can transform cross-view images into a common feature space. However, they typically impose a symmetric architecture, yielding the network ill-conditioned on its optimisation. In this paper, we learn view-invariant subspace for person re-ID, and its corresponding similarity metric using an adversarial view adaptation approach. The main contribution is to learn coupled asymmetric mappings regarding view characteristics which are adversarially trained to address the view discrepancy by optimising the cross-entropy view confusion objective. To determine the similarity value, the network is empowered with a similarity discriminator to promote features that are highly discriminant in distinguishing positive and negative pairs. The other contribution includes an adaptive weighing on the most difficult samples to address the imbalance of within/between-identity pairs. Our approach achieves notable improved performance in comparison to state-of-the-arts on benchmark datasets.

研究动机与目标

• 为解决由摄像头视角变化引起的行人重识别中较大的跨视角差异问题。
• 通过为查询集和图库集学习非对称映射，克服对称Siamese网络的病态优化问题。
• 在不依赖大规模标注数据的前提下，联合学习视角不变的特征空间与判别性相似性度量。
• 通过自适应加权缓解难样本的类内与类间样本之间的训练不平衡问题。
• 通过引入带有熵正则化的对抗性训练，提升低样本和无监督重识别场景下的泛化能力。

提出的方法

• 该方法采用非对称深度神经网络，将查询图像和图库图像映射到共享特征空间，避免参数共享，从而实现视角特定的表征学习。
• 采用交叉熵对抗损失，通过混淆视角判别器最小化视角差异，促进学习视角不变特征。
• 在视角混淆目标上应用熵正则化，以稳定训练过程并提升泛化能力。
• 训练一个独立的相似性判别器，以区分正样本对（同一身份）与负样本对（不同身份），增强特征的判别能力。
• 引入自适应加权机制，强调训练过程中难样本的重要性，缓解类内与类间样本对之间的类别不平衡问题。
• 整个框架通过联合损失函数实现端到端可训练：包括对抗性视角混淆损失与基于边距的相似性损失。

实验结果

研究问题

• RQ1 与对称Siamese网络相比，非对称特征映射是否能提升跨视角行人重识别性能？
• RQ2 结合熵正则化的对抗性视角混淆是否能有效减少跨视角视觉差异？
• RQ3 联合训练的相似性判别器是否能提升正样本对与负样本对之间的特征判别能力？
• RQ4 对难样本的自适应加权在缓解重识别训练数据不平衡方面是否有效？
• RQ5 无生成器的判别性方法是否能在行人重识别中超越现有领域自适应方法？

主要发现

• 在VIPeR数据集上，所提方法达到51.3%的rank-1准确率，超越了先前最先进方法。
• 在CUHK03数据集上，方法实现86.6%的rank-1准确率，显著优于现有视角自适应技术。
• 在Market-1501基准上，模型达到87.2%的rank-1准确率，创下新的最先进性能记录。
• 消融实验证实，对抗性视角混淆与相似性判别器均对性能提升有显著贡献。
• 自适应加权机制提升了训练收敛速度与性能，尤其在难负样本上表现更优。
• 该方法优于基于图像生成的方法（如CoGAN）与非生成方法（如ADDA），证明图像生成并非实现有效视角自适应的必要条件。