[论文解读] Cross-Resolution Adversarial Dual Network for Person Re-Identification and Beyond

Yu-Jhe Li, Yunchun Chen+2 more|arXiv (Cornell University)|Feb 19, 2020

Video Surveillance and Tracking Methods参考文献 70被引用 18

一句话总结

本论文提出CAD-Net++，一种跨分辨率对抗性双流网络，通过端到端生成对抗学习，学习分辨率不变表征并恢复低分辨率行人重识别（re-ID）图像中的高分辨率细节。该模型在五个行人重识别基准上达到最先进性能，并能有效泛化至未见过的分辨率以及跨分辨率车辆重识别任务。

ABSTRACT

Person re-identification (re-ID) aims at matching images of the same person across camera views. Due to varying distances between cameras and persons of interest, resolution mismatch can be expected, which would degrade re-ID performance in real-world scenarios. To overcome this problem, we propose a novel generative adversarial network to address cross-resolution person re-ID, allowing query images with varying resolutions. By advancing adversarial learning techniques, our proposed model learns resolution-invariant image representations while being able to recover the missing details in low-resolution input images. The resulting features can be jointly applied for improving re-ID performance due to preserving resolution invariance and recovering re-ID oriented discriminative details. Extensive experimental results on five standard person re-ID benchmarks confirm the effectiveness of our method and the superiority over the state-of-the-art approaches, especially when the input resolutions are not seen during training. Furthermore, the experimental results on two vehicle re-ID benchmarks also confirm the generalization of our model on cross-resolution visual tasks. The extensions of semi-supervised settings further support the use of our proposed approach to real-world scenarios and applications.

研究动机与目标

• 解决行人重识别中的分辨率不匹配问题，其中查询图像通常为低分辨率，而图库图像为高分辨率。
• 克服现有基于超分辨率的重识别方法的局限性，这些方法需要预定义的上采样率，且在未见或可变分辨率下表现不佳。
• 开发一个端到端可训练的模型，联合学习分辨率不变特征并恢复面向重识别的高分辨率细节。
• 证明所提方法在行人重识别之外对其他跨分辨率视觉任务（如车辆重识别）的泛化能力。
• 将模型扩展至弱监督设置，以支持真实世界中标签数据有限的部署场景。

提出的方法

• 提出一种新颖的跨分辨率生成对抗网络（CRGAN），通过在特征图上进行多尺度对抗训练，学习分辨率不变表征。
• 在不同特征层级引入多尺度对抗损失，对齐高分辨率与低分辨率特征的分布，提升模型鲁棒性与一致性。
• 采用重建损失以在超分辨率过程中保留与身份相关的关键细节，确保生成的高分辨率图像对重识别具有判别性。
• 采用双流架构，分别使用图像级与特征级判别器进行对抗训练，实现图像质量与特征判别能力的联合优化。
• 使用总损失函数端到端训练整个网络，该损失函数结合重建损失、图像级对抗损失及多尺度特征级对抗损失。
• 利用训练好的模型从任意输入分辨率（包括未见过的分辨率）生成高质量、面向重识别优化的高分辨率图像，而无需依赖分辨率特定的模型。

实验结果

研究问题

• RQ1 单一深度学习模型是否能有效处理不同且未见输入分辨率下的行人重识别任务，而无需依赖分辨率特定的超分辨率模型？
• RQ2 在多个特征尺度上进行对抗学习在分辨率不匹配条件下，对重识别特征的鲁棒性与判别能力提升程度如何？
• RQ3 通过生成建模恢复面向重识别的高分辨率细节，是否能在跨分辨率重识别中带来可测量的性能提升？
• RQ4 所提方法是否能泛化至行人重识别之外的其他跨分辨率视觉识别任务，如车辆重识别？
• RQ5 在弱监督设置下，模型性能如何？当仅有有限标签数据时，其是否仍优于现有方法？

主要发现

• CAD-Net++在五个标准行人重识别基准上达到最先进性能，包括Market-1501、DukeMTMC-reID、CUHK03、MSMT17和CUHK03-MLR，尤其在包含未见分辨率的跨分辨率设置下表现优异。
• 在查询分辨率为r=8（训练期间未见）的MLR-CUHK03基准上，CAD-Net++实现7次匹配中的6次正确，显著优于SING（1/7）和CSR-GAN（6/7）在同一设置下的表现。
• 在车辆重识别任务中，模型在未见分辨率查询（r=8）下实现7次匹配中的6次正确，而SING和CSR-GAN分别仅实现2次和3次正确匹配。
• 模型在广泛超参数取值范围内保持稳定性能，尤其当重建损失与对抗损失平衡时（λ_rec = 1，λ_adv^D_F = 1，λ_adv^D_I = 1），表明对超参数调优具有鲁棒性。
• 敏感性分析表明，当对抗损失或重建损失主导总损失时，性能显著下降，凸显了损失加权平衡的重要性。
• 模型在弱监督重识别设置中泛化良好，展现出在真实世界场景中标签数据有限条件下的强实际适用性。