[논문 리뷰] Improving Vehicle Re-Identification using CNN Latent Spaces: Metrics Comparison and Track-to-track Extension

Geoffrey Roman‐Jimenez, Patrice Guyot외 8명|arXiv (Cornell University)|2019. 10. 21.

Image Processing and 3D Reconstruction참고 문헌 46인용 수 4

한 줄 요약

이 논문은 CNN 잠재 공간에서 거리 측도를 평가하고, 트랙 간 재식별(T2TP) 프레임워크를 도입함으로써 차량 재식별 성능을 향상시켰다. 코사인 거리(MCD)가 유클리드 거리(MED)보다 뚜렷이 뛰어나며, 추가 메타데이터 없이도 DenseNet201 기반 T2TP가 최신 기술 수준의 성능을 달성함을 입증하였다.

ABSTRACT

This paper addresses the problem of vehicle re-identification using distance comparison of images in CNN latent spaces. Firstly, we study the impact of the distance metrics, comparing performances obtained with different metrics: the minimal Euclidean distance (MED), the minimal cosine distance (MCD), and the residue of the sparse coding reconstruction (RSCR). These metrics are applied using features extracted from five different CNN architectures, namely ResNet18, AlexNet, VGG16, InceptionV3 and DenseNet201. We use the specific vehicle re-identification dataset VeRi to fine-tune these CNNs and evaluate results. In overall, independently of the CNN used, MCD outperforms MED, commonly used in the literature. These results are confirmed on other vehicle retrieval datasets. Secondly, we extend the state-of-the-art image-to-track process (I2TP) to a track-to-track process (T2TP). The three distance metrics are extended to measure distance between tracks, enabling T2TP. We compared T2TP with I2TP using the same CNN models. Results show that T2TP outperforms I2TP for MCD and RSCR. T2TP combining DenseNet201 and MCD-based metrics exhibits the best performances, outperforming the state-of-the-art I2TP-based models. Finally, experiments highlight two main results: i) the impact of metric choice in vehicle re-identification, and ii) T2TP improves the performances compared to I2TP, especially when coupled with MCD-based metrics.

연구 동기 및 목표

• CNN 잠재 공간 내에서 다양한 거리 측도(MED, MCD, RSCR)가 차량 재식별 성능에 미치는 영향을 평가하기 위해.
• MCD가 여러 CNN 아키텍처와 데이터셋에서 MED를 일관되게 능가하는지 조사하기 위해.
• 이미지 간 재식별(I2TP)을 트랙 간 재식별(T2TP)으로 확장하여 시각적 특징만을 사용해 성능 향상을 도모하기 위해.
• 다양한 거리 측도와 함께 T2TP가 I2TP를 초월하는 성능 향상을 보이는지 평가하기 위해.
• 메타데이터 외부 요소와 무관하게, 거리 측도 선택과 프로세스 유형(I2TP 대 T2TP)이 재식별 정확도에 결정적인 요소임을 입증하기 위해.

제안 방법

• VeRi 데이터셋에서 사전 학습된 다섯 개의 CNN 모델(ResNet18, AlexNet, VGG16, InceptionV3, DenseNet201)을 미세조정하여 차량의 깊은 잠재 표현(LR)을 추출하기 위해.
• 세 가지 거리 측도인 최소 유클리드 거리(MED), 최소 코사인 거리(MCD), 희소 코딩 복원 잔차(RSCR)를 적용하여 특징 벡터를 비교하기 위해.
• 동일한 측도를 사용하여 트랙 간 거리를 계산함으로써 I2TP를 T2TP로 확장하여 개별 이미지가 아닌 전체 차량 트랙 간 비교를 가능하게 하기 위해.
• VeRi와 추가로 세 개의 데이터셋(VehicleID, CompCars, BoxCars116k)에서 mAP(평균 평균 정확도)를 주요 평가 지표로 사용하기 위해.
• 문맥적 메타데이터를 사용하지 않고도, 거리 측도 선택과 프로세스 유형(I2TP 대 T2TP)의 영향을 분리하여 분석하기 위해 추론 실험을 수행하기 위해.
• 특징 추출 능력이 뛰어나기 때문에 최종 T2TP 평가에 대해 DenseNet201을 백본 모델로 선정하기 위해.

실험 결과

연구 질문

• RQ1 거리 측도 선택(MED, MCD, RSCR)이 CNN 잠재 공간 내 차량 재식별 성능에 뚜렷한 영향을 미치는가?
• RQ2 MCD가 다양한 CNN 아키텍처와 데이터셋에서 일관되게 MED를 능가하는가?
• RQ3 동일한 깊은 특징을 사용할 때 트랙 간 재식별 프로세스(T2TP)가 표준 이미지 간 재식별 프로세스(I2TP)를 능가할 수 있는가?
• RQ4 T2TP와 MCD 기반 측도의 조합이 문맥적 메타데이터에 의존하지 않고 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 거리 측도 선택이 재식별 프로세스 유형(I2TP 대 T2TP)과 상호작용하여 최종 정확도에 미치는 영향은 어느 정도인가?

주요 결과

• VeRi 데이터셋에서 다섯 개의 CNN 아키텍처 전반에 걸쳐 최소 코사인 거리(MCD)가 최소 유클리드 거리(MED)를 일관되게 능가하였으며, mAP 향상 폭은 +2.02%에서 +5.79%에 이르렀다.
• VehicleID, CompCars, BoxCars116k 데이터셋에서도 MCD가 다시 한 번 MED를 능가하여, MCD의 성능 향상 효과가 VeRi 데이터셋을 초월해 일반화됨을 확인하였다.
• MCD 기반 측도를 사용할 때 T2TP가 I2TP보다 재식별 성능을 뚜렷이 향상시켰으며, +4.07% ± 0.85 mAP의 향상 폭을 기록하였다.
• RSCR 기반 측도를 사용한 T2TP도 I2TP를 +3.37% ± 3.11 mAP 향상으로 능가하여 트랙 수준 비교의 이점을 확인하였다.
• T2TP 프레임워크 내에서 DenseNet201과 MCD 기반 측도의 조합이 가장 높은 mAP를 기록하였으며, 추가 메타데이터 없이도 최신 기술 수준의 I2TP 기반 모델을 초월하였다.
• 연구는 거리 측도 선택과 재식별 프로세스 유형(I2TP 대 T2TP)이 메타데이터와 무관하게 중요한 설계 요소임을 입증하였으며, MCD와 T2TP의 조합이 가장 뛰어난 성능을 낳음을 확인하였다.