[论文解读] Eliminating cross-camera bias for vehicle re-identification

Jinjia Peng, Guangqi Jiang+4 more|arXiv (Cornell University)|Dec 21, 2019

Video Surveillance and Tracking Methods参考文献 42被引用 4

一句话总结

本文提出了一种跨相机自适应（CCA）框架和一种注意力对齐网络（AANet），通过将图像迁移至统一的相机域并聚焦于具有区分性的车辆部件，以减少车辆重识别中的跨相机偏差。该方法实现了最先进性能，在VeRi-776数据集上相较于基线模型，mAP提升了2.6%，rank-1准确率提升了1.65%。

ABSTRACT

Vehicle re-identification (reID) often requires recognize a target vehicle in large datasets captured from multi-cameras. It plays an important role in the automatic analysis of the increasing urban surveillance videos, which has become a hot topic in recent years. However, the appearance of vehicle images is easily affected by the environment that various illuminations, different backgrounds and viewpoints, which leads to the large bias between different cameras. To address this problem, this paper proposes a cross-camera adaptation framework (CCA), which smooths the bias by exploiting the common space between cameras for all samples. CCA first transfers images from multi-cameras into one camera to reduce the impact of the illumination and resolution, which generates the samples with the similar distribution. Then, to eliminate the influence of background and focus on the valuable parts, we propose an attention alignment network (AANet) to learn powerful features for vehicle reID. Specially, in AANet, the spatial transfer network with attention module is introduced to locate a series of the most discriminative regions with high-attention weights and suppress the background. Moreover, comprehensive experimental results have demonstrated that our proposed CCA can achieve excellent performances on benchmark datasets VehicleID and VeRi-776.

研究动机与目标

• 解决由于光照、视角、分辨率和背景差异导致的车辆重识别中显著的跨相机偏差问题。
• 通过将多相机图像迁移至统一参考相机空间，减少相机间的域偏移，以标准化外观差异。
• 通过聚焦于具有区分性的车辆部件并抑制背景干扰，提升特征学习效果。
• 构建一个统一框架，结合域自适应与基于注意力的特征提取，实现鲁棒的车辆重识别。
• 在VeRi-776和VehicleID等基准数据集上实现最先进性能，减轻相机特定偏差。

提出的方法

• 利用基于StarGAN的图像翻译技术，将来自多个相机的车辆图像迁移至单一参考相机域，以对齐光照、分辨率和背景。
• 提出一种注意力对齐网络（AANet），采用带有注意力模块的空间变换网络（STN），以定位并聚焦于车辆的高区分性区域。
• 应用带注意力的STN，动态识别并提取车辆图像中的显著特征，减少背景干扰。
• 采用多分支架构进行模型训练，以学习全局特征、基于部件的特征以及融合特征，提升表征能力。
• 使用跨相机对比损失和三元组损失优化网络，增强不同域之间的特征判别性。
• 通过图像翻译实现域自适应，减少相机间的分布偏移，从而提升在多样化相机视角下的泛化能力。

实验结果

研究问题

• RQ1 如何有效减少因光照、视角和分辨率差异导致的车辆重识别中的跨相机外观偏差？
• RQ2 通过图像翻译实现的域自适应在多相机监控系统中在多大程度上提升了特征泛化能力？
• RQ3 与全局特征提取相比，基于注意力的车辆部件定位是否能提升特征的判别性？
• RQ4 融合全局、基于部件和融合特征对重识别准确率有何影响？
• RQ5 所提出方法在VeRi-776和VehicleID等标准基准数据集上是否优于现有最先进方法？

主要发现

• 所提出的CCA框架相较于未使用域自适应的原始AANet，在VeRi-776上mAP提升2.6%，rank-1准确率提升1.65%。
• 采用基于注意力定位的AANet相较于刚性部件分割方法，在VeRi-776上mAP提升2.34%，rank-1准确率提升2.68%。
• 在VehicleID数据集上，该方法在3200张测试集上实现了3.61%的mAP提升，表明其对不同数据规模具有鲁棒性。
• 在VeRi-776上，融合全局与基于部件的特征相较于仅使用全局特征，mAP提升11.34%，证实了多尺度特征学习的优势。
• 可视化结果表明，该方法在不同视角和光照条件下均表现出高检索准确率与鲁棒性。
• 消融实验结果确认，图像翻译（域自适应）与基于注意力的定位均对性能提升至关重要。