[논문 리뷰] Discriminative Feature and Dictionary Learning with Part-aware Model for Vehicle Re-identification

Huibing Wang, Jinjia Peng외 3명|arXiv (Cornell University)|2020. 03. 16.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 4

한 줄 요약

이 논문은 차량 이미지를 수평 및 수직 부분으로 공간 분할하여 국소적 특징을 구별적으로 학습함으로써 차량 재식별 성능을 향상시키는 트리플릿 센터 손실 기반의 파트 인식 모델(TCPM)을 제안한다. 외부 메모리 모듈을 통합하여 전반적 특징 분포를 모델링하고, 트리플릿 센터 손실을 사용하여 내부 클래스의 응집성과 외부 클래스의 분리성을 강화함으로써, VehicleID 및 VeRi-776에서 최신 기준 성능을 달성하였으며, mAP는 최대 1.29%p 향상되고, Rank-1 성능은 1.12%p 향상되었다.

ABSTRACT

With the development of smart cities, urban surveillance video analysis will play a further significant role in intelligent transportation systems. Identifying the same target vehicle in large datasets from non-overlapping cameras should be highlighted, which has grown into a hot topic in promoting intelligent transportation systems. However, vehicle re-identification (re-ID) technology is a challenging task since vehicles of the same design or manufacturer show similar appearance. To fill these gaps, we tackle this challenge by proposing Triplet Center Loss based Part-aware Model (TCPM) that leverages the discriminative features in part details of vehicles to refine the accuracy of vehicle re-identification. TCPM base on part discovery is that partitions the vehicle from horizontal and vertical directions to strengthen the details of the vehicle and reinforce the internal consistency of the parts. In addition, to eliminate intra-class differences in local regions of the vehicle, we propose external memory modules to emphasize the consistency of each part to learn the discriminating features, which forms a global dictionary over all categories in dataset. In TCPM, triplet-center loss is introduced to ensure each part of vehicle features extracted has intra-class consistency and inter-class separability. Experimental results show that our proposed TCPM has an enormous preference over the existing state-of-the-art methods on benchmark datasets VehicleID and VeRi-776.

연구 동기 및 목표

• 감시 시스템에서 공통 설계나 제조사로 인해 유사한 외관을 가진 차량을 구분하는 데 어려움이 존재하는 문제를 해결한다.
• 전반적 외관 특징에만 의존하는 것과는 달리, 세분화된 국소적 파트 특징에 초점을 맞춰 차량 재식별 성능을 향상시킨다.
• 새로운 손실 함수와 메모리 기반 특징 모델링을 통해 국소적 차량 특징의 내부 클래스 일관성과 외부 클래스 분리성을 향상시킨다.
• 공간 분할과 전역 사전 학습 기반의 확장 가능한 프레임워크를 개발하여, 차량 재식별에서 구별 가능한 특징 학습 능력을 강화한다.

제안 방법

• 차량 특징 맵을 다수의 수평 및 수직 영역으로 분할하여 국소적 구별 특징을 추출한다.
• 모든 식별자에 대해 각 파트의 전역 중심 특징 벡터를 저장하고 유지하는 외부 메모리 모듈을 도입하여 전역 사전를 형성한다.
• 전역 중심 특징 벡터를 앵커로 사용하는 트리플릿 센터 손실 함수를 적용하여 내부 클래스 응집성과 외부 클래스 간격을 최적화한다.
• 수평 분할을 위한 브랜치와 수직 분할을 위한 브랜치로 구성된 이중 브랜치 네트워크 아키텍처를 사용하여 다중 방향 특징 학습을 가능하게 한다.
• 전체 데이터셋에 걸친 국소적 특징 분포를 모델링함으로써 메모리 모듈을 활용해 특징 학습을 안정화시킨다.
• 다양한 파트 영역의 표현을 융합하여 통합된 임bedding으로 전역 및 국소 특징 학습을 통합한다.

실험 결과

연구 질문

• RQ1 차량 특징를 수평 및 수직 파트로 공간 분할하면 차량 재식별을 위한 구별 가능한 특징 학습이 향상되는가?
• RQ2 전역 특징 분포를 모델링하는 외부 메모리 모듈을 통합하면 내부 클래스 일관성과 재식별 정확도가 향상되는가?
• RQ3 기본 트리플릿 손실과 비교해 볼 때, 트리플릿 센터 손실은 외부 클래스 분리성과 내부 클래스 응집성 향상에 얼마나 기여하는가?
• RQ4 제안된 파트 인식 모델은 전역 특징 중심 기반 베이스라인 및 기존 최신 기준 방법과 표준 벤치마크에서 어떻게 비교되는가?
• RQ5 모델은 시험 세트 크기의 변화와 시점, 조명 변화와 같은 도전적인 조건에서도 일반화 가능한가?

주요 결과

• 제안된 TCPM 모델은 VeRi-776 데이터셋에서 mAP 85.13%와 Rank-1 정확도 81.96%를 달성하여, 기준 모델 대비 mAP에서 5.06%p 향상되었다.
• VehicleID 데이터셋에서 TCPM은 mAP 74.59%와 Rank-1 93.98%를 기록하여 기준 모델 대비 mAP에서 1.29%p 향상되었다.
• 트리플릿 센터 손실의 추가(OneBranch+Mem+TC)로 인해 VeRi-776에서 mAP는 1.05%p 향상되고, Rank-1는 0.89%p 향상되었다.
• 이중 브랜치 아키텍처(TwoBranch+Mem+TC)는 각각 800, 1600, 2400 크기의 VehicleID 테스트 세트에서 mAP가 각각 0.51%, 0.59%, 0.79% 향상되었다.
• 시각화 결과는 모델이 시점 및 조명 변화에 대해 뛰어난 내성성을 보이며 다양한 조건에서 정확한 매칭을 수행함을 확인했다.
• 외부 메모리 모듈은 국소 파트 특징의 전역 분포를 모델링함으로써 특징 학습을 효과적으로 안정화시키고 일반화 능력을 향상시켰다.