[论文解读] Improving Vehicle Re-Identification using CNN Latent Spaces: Metrics Comparison and Track-to-track Extension

Geoffrey Roman‐Jimenez, Patrice Guyot+8 more|arXiv (Cornell University)|Oct 21, 2019

Image Processing and 3D Reconstruction参考文献 46被引用 4

一句话总结

本论文通过评估卷积神经网络（CNN）潜在空间中的距离度量，并提出一种轨迹到轨迹重识别（T2TP）框架，改进了车辆重识别性能。结果表明，余弦距离（MCD）显著优于欧氏距离（MED），且在DenseNet201上结合MCD的T2TP框架在无需额外元数据的情况下实现了最先进性能。

ABSTRACT

This paper addresses the problem of vehicle re-identification using distance comparison of images in CNN latent spaces. Firstly, we study the impact of the distance metrics, comparing performances obtained with different metrics: the minimal Euclidean distance (MED), the minimal cosine distance (MCD), and the residue of the sparse coding reconstruction (RSCR). These metrics are applied using features extracted from five different CNN architectures, namely ResNet18, AlexNet, VGG16, InceptionV3 and DenseNet201. We use the specific vehicle re-identification dataset VeRi to fine-tune these CNNs and evaluate results. In overall, independently of the CNN used, MCD outperforms MED, commonly used in the literature. These results are confirmed on other vehicle retrieval datasets. Secondly, we extend the state-of-the-art image-to-track process (I2TP) to a track-to-track process (T2TP). The three distance metrics are extended to measure distance between tracks, enabling T2TP. We compared T2TP with I2TP using the same CNN models. Results show that T2TP outperforms I2TP for MCD and RSCR. T2TP combining DenseNet201 and MCD-based metrics exhibits the best performances, outperforming the state-of-the-art I2TP-based models. Finally, experiments highlight two main results: i) the impact of metric choice in vehicle re-identification, and ii) T2TP improves the performances compared to I2TP, especially when coupled with MCD-based metrics.

研究动机与目标

• 评估不同距离度量（MED、MCD和RSCR）在CNN潜在空间中对车辆重识别性能的影响。
• 探究MCD是否在多种CNN架构和数据集上始终优于MED。
• 将图像到轨迹的流程（I2TP）扩展为轨迹到轨迹的流程（T2TP），仅使用视觉特征实现更优的重识别。
• 评估T2TP在结合不同距离度量时是否优于I2TP。
• 确立距离度量选择与流程类型（I2TP与T2TP）是重识别准确率的关键因素，且该影响独立于额外元数据。

提出的方法

• 在VeRi数据集上微调五种预训练的CNN模型（ResNet18、AlexNet、VGG16、InceptionV3和DenseNet201），以提取车辆的深层潜在表征（LR）。
• 应用三种距离度量：最小欧氏距离（MED）、最小余弦距离（MCD）和稀疏编码重构残差（RSCR），用于比较特征向量。
• 通过使用相同度量计算轨迹间距离，将I2TP扩展为T2TP，实现对整个车辆轨迹而非单个图像的比较。
• 在VeRi和另外三个数据集（VehicleID、CompCars和BoxCars116k）上，以mAP（平均精度均值）作为主要评估指标。
• 通过消融研究隔离度量选择与流程类型（I2TP与T2TP）对性能的影响，且未使用上下文元数据。
• 由于其卓越的特征提取能力，选择DenseNet201作为最终T2TP评估的主干模型。

实验结果

研究问题

• RQ1 距离度量选择（MED、MCD、RSCR）是否显著影响CNN潜在空间中的车辆重识别性能？
• RQ2 MCD度量是否在不同CNN架构和数据集上始终优于MED？
• RQ3 在使用相同深度特征的情况下，轨迹到轨迹重识别流程（T2TP）是否能优于标准的图像到轨迹流程（I2TP）？
• RQ4 结合T2TP与基于MCD的度量是否能在不依赖上下文元数据的情况下实现最先进性能？
• RQ5 度量选择与重识别流程类型（I2TP与T2TP）之间的交互作用在多大程度上决定了最终准确率？

主要发现

• 在VeRi数据集上，所有五种CNN架构中，最小余弦距离（MCD）度量始终优于最小欧氏距离（MED），mAP提升范围为+2.02%至+5.79%。
• 在VehicleID、CompCars和BoxCars116k数据集上，MCD再次优于MED，表明MCD的性能优势可泛化至VeRi数据集之外。
• 当使用基于MCD的度量时，轨迹到轨迹流程（T2TP）显著优于I2TP，mAP提升达+4.07% ± 0.85。
• 基于RSCR的度量在T2TP中也优于I2TP，mAP提升+3.37% ± 3.11，证实了轨迹级比较的优势。
• 在T2TP框架中，结合DenseNet201与基于MCD的度量实现了最高的mAP，优于无需任何额外元数据的最先进I2TP模型。
• 本研究证明，距离度量选择与重识别流程类型（I2TP与T2TP）是关键的设计因素，MCD与T2TP结合可实现最强性能。