[論文レビュー] Improving Vehicle Re-Identification using CNN Latent Spaces: Metrics Comparison and Track-to-track Extension

Geoffrey Roman‐Jimenez, Patrice Guyot+8 more|arXiv (Cornell University)|Oct 21, 2019

Image Processing and 3D Reconstruction参考文献 46被引用数 4

ひとこと要約

本稿では、CNNの潜在空間における距離尺度の評価と、トラック間再識別（T2TP）フレームワークの導入により、車両再識別を改善している。コサイン距離（MCD）がユークリッド距離（MED）を著しく上回ることを示しており、追加のメタデータを用いないDenseNet201におけるT2TPとMCDの組み合わせが、最先端の性能を達成している。

ABSTRACT

This paper addresses the problem of vehicle re-identification using distance comparison of images in CNN latent spaces. Firstly, we study the impact of the distance metrics, comparing performances obtained with different metrics: the minimal Euclidean distance (MED), the minimal cosine distance (MCD), and the residue of the sparse coding reconstruction (RSCR). These metrics are applied using features extracted from five different CNN architectures, namely ResNet18, AlexNet, VGG16, InceptionV3 and DenseNet201. We use the specific vehicle re-identification dataset VeRi to fine-tune these CNNs and evaluate results. In overall, independently of the CNN used, MCD outperforms MED, commonly used in the literature. These results are confirmed on other vehicle retrieval datasets. Secondly, we extend the state-of-the-art image-to-track process (I2TP) to a track-to-track process (T2TP). The three distance metrics are extended to measure distance between tracks, enabling T2TP. We compared T2TP with I2TP using the same CNN models. Results show that T2TP outperforms I2TP for MCD and RSCR. T2TP combining DenseNet201 and MCD-based metrics exhibits the best performances, outperforming the state-of-the-art I2TP-based models. Finally, experiments highlight two main results: i) the impact of metric choice in vehicle re-identification, and ii) T2TP improves the performances compared to I2TP, especially when coupled with MCD-based metrics.

研究の動機と目的

• CNNの潜在空間における異なる距離尺度（MED、MCD、RSCR）が車両再識別性能に与える影響を評価すること。
• MCDが複数のCNNアーキテクチャおよびデータセットにおいて一貫してMEDを上回ることを調査すること。
• 視覚的特徴のみを用いて、画像からトラックへのプロセス（I2TP）をトラックからトラックへのプロセス（T2TP）に拡張し、再識別を改善すること。
• 異なる距離尺度と組み合わせたT2TPがI2TPを上回る性能を示すかどうかを評価すること。
• メタデータの追加を考慮しない場合、距離尺度の選択とプロセスタイプ（I2TP対T2TP）が再識別精度において重要な要因であることを確立すること。

提案手法

• VeRiデータセット上で微調整された5つの事前学習済みCNN（ResNet18、AlexNet、VGG16、InceptionV3、DenseNet201）を用い、車両の深層潜在表現（LR）を抽出した。
• 3つの距離尺度（最小ユークリッド距離：MED、最小コサイン距離：MCD、スパースコーディング再構成の残差：RSCR）を適用し、特徴ベクトルを比較した。
• I2TPをT2TPに拡張し、同じ距離尺度を用いてトラック間距離を計算することで、個々の画像ではなく、完全な車両トラック同士の比較を可能にした。
• VeRiおよび3つの追加データセット（VehicleID、CompCars、BoxCars116k）において、mAP（平均平均精度）を主な評価指標として用いた。
• 文脈的メタデータを一切使用しない状態で、距離尺度の選択とプロセスタイプ（I2TP対T2TP）の影響を分離するためのアブレーションスタディを実施した。
• 最終的なT2TP評価のバックボーンモデルとして、優れた特徴抽出能力を示したDenseNet201を選定した。

実験結果

リサーチクエスチョン

• RQ1 距離尺度の選択（MED、MCD、RSCR）がCNNの潜在空間における車両再識別性能に顕著な影響を与えるか？
• RQ2 MCDが異なるCNNアーキテクチャおよびデータセットにおいて一貫してMEDを上回るか？
• RQ3 同じ深層特徴を用いた場合、トラック間再識別プロセス（T2TP）が標準的な画像からトラックへのプロセス（I2TP）を上回るか？
• RQ4 T2TPとMCDベースの距離尺度を組み合わせることで、文脈的メタデータに依存せずに最先端の性能が達成できるか？
• RQ5 距離尺度の選択と再識別プロセスタイプ（I2TP 対 T2TP）の相互作用が、最終的な精度にどの程度影響を与えるか？

主な発見

• VeRiデータセットにおいて、5つのCNNアーキテクチャすべてで最小コサイン距離（MCD）が最小ユークリッド距離（MED）を一貫して上回り、mAPの向上幅は+2.02%〜+5.79%に達した。
• VehicleID、CompCars、BoxCars116kのデータセットでも、MCDがMEDを上回った。これは、MCDの性能向上効果がVeRiデータセットに限定されない一般化可能な特性であることを示している。
• MCDベースの距離尺度を用いた場合、T2TPはI2TPを著しく上回り、+4.07% ± 0.85 mAPの向上を達成した。
• RSCRベースの距離尺度を用いたT2TPも、I2TPを+3.37% ± 3.11 mAP上回り、トラックレベルの比較の利点を裏付けた。
• T2TPフレームワークにDenseNet201とMCDベースの距離尺度を組み合わせた場合、追加のメタデータを使用しない状態で、最先端のI2TPベースのモデルを上回る最高のmAPを達成した。
• 本研究では、距離尺度の選択と再識別プロセスタイプ（I2TP 対 T2TP）が、再識別精度において極めて重要な設計要因であることが示された。MCDとT2TPを併用することで、最も優れた性能が得られた。