[논문 리뷰] Attributes Guided Feature Learning for Vehicle Re-identification

Li, Hongchao, Xianmin Lin외 5명|arXiv (Cornell University)|2019. 05. 22.

Video Surveillance and Tracking Methods참고 문헌 55인용 수 34

한 줄 요약

일관된 딥 러닝 프레임워크(DF-CVTC)를 제안하여 카메라 뷰, 차량 유형, 색상을 통해 딥 피처 학습을 안내하고 VeRi-776 및 VehicleID에서 새로운 최첨단 성능을 달성한다.

ABSTRACT

Vehicle Re-ID has recently attracted enthusiastic attention due to its potential applications in smart city and urban surveillance. However, it suffers from large intra-class variation caused by view variations and illumination changes, and inter-class similarity especially for different identities with the similar appearance. To handle these issues, in this paper, we propose a novel deep network architecture, which guided by meaningful attributes including camera views, vehicle types and colors for vehicle Re-ID. In particular, our network is end-to-end trained and contains three subnetworks of deep features embedded by the corresponding attributes (i.e., camera view, vehicle type and vehicle color). Moreover, to overcome the shortcomings of limited vehicle images of different views, we design a view-specified generative adversarial network to generate the multi-view vehicle images. For network training, we annotate the view labels on the VeRi-776 dataset. Note that one can directly adopt the pre-trained view (as well as type and color) subnetwork on the other datasets with only ID information, which demonstrates the generalization of our model. Extensive experiments on the benchmark datasets VeRi-776 and VehicleID suggest that the proposed approach achieves the promising performance and yields to a new state-of-the-art for vehicle Re-ID.

연구 동기 및 목표

• 뷰 변화로 인한 큰 intra-class 변동성과 유사한 외형으로 인한 inter-class 유사성 문제를 해결해 차량 재식별을 고취한다.
• 카메라 뷰, 차량 유형, 색상을 피처 학습에 포함시키는 엔드-투-엔드 아키텍처를 제안해 식별 가능성을 높인다.
• VeRi-776에서 학습하고 VehicleID로 이전하는 과정을 통해 속성 가이드 피처가 데이터셋 간에 일반화됨을 입증한다.]
• method':['백본 네트워크(ResNet-50의 처음 세 블록)는 여러 작업에 걸쳐 공유된다.','세 가지 속성 서브네트워크(뷰, 유형, 색상)가 각각의 Softmax 분포를 예측하고 특화 피처 추출기를 가중한다.','속성 단위에서 얻은 피처 맵은 F = F_view ⊕ F_type ⊕ F_color로 엣지-와이즈 합성으로融合된다.','두 개의 FC 계층을 가진 임베딩 네트웨어가 융합 피처를 F_joint로 매핑한 뒤 ID 소프트맥스로 학습을 진행한다.','훈련은 순차적으로 진행된다: 각 속성 서브네트워크를 해당 손실로 학습한 뒤, ID 손실로 공동 미세조정한다.','Adam 옵티마이저, 미니배치 16, 2D 임의 평행이동을 통한 데이터 증강, 입력 크기 256×256으로 모델을 학습한다.']
• research_questions':['통일된 엔드-투-엔드 프레임워크에 뷰, 차량 유형, 색상을 포함시키는 것이 차량 재식별 성능을 개선할 수 있는가?','뷰/유형/색상 서브네트워크를 순차적으로 학습하는 것이 단일 작업 베이스라인보다 더 나은 표현력을 제공하는가?','속성 가이드 학습이 서로 다른 속성 가용성을 가진 데이터셋(VeRi-776 vs VehicleID) 간에 얼마나 잘 일반화되는가?']
• key_findings':['DF-CVTC는 VeRi-776에서 mAP 61.06, rank-1 91.36, rank-5 95.77로 최첨단 성능을 달성한다.','VehicleID에서 세 가지 속성 서브네트워크를 모두 사용하는 DF-CVTC는 mAP 78.03/75.23/88.11 (Test Size 800), 74.87/72.15/84.37 (Test Size 1600), 73.15/70.46/82.13 (Test Size 2400)를 달성한다.','뷰를 먼저 추가하고, 그다음 유형, 마지막으로 색상을 추가하는 방식으로 점진적으로 수행할 때 ResNet-50 기본값 대비 지표가 일관되게 향상된다.','CAM을 통한 시각화는 서브네트워크가 추가될수록 뷰-차별화 영역, 유형-차별화 영역, 색상-차별화 영역으로 주의가 이동하는 것을 보여준다.','속성 서브네트워크는 VeRi-776에서 사전학습한 후 ID 라벨만 제공하는 다른 데이터셋으로 이전할 수 있다.']
• table_headers':['데이터셋','테스트 크기','mAP','Rank-1','Rank-5','메모']
• table_rows':[[
• VeRi-776
• All (DF-CVTC)
• 61.06
• 91.36
• 95.77
• 세 가지 속성 서브네트워크를 모두 사용한 VeRi-776에서의 제안 방법(표 I).

제안 방법

• VehicleID
• 800
• 78.03
• 75.23
• 88.11
• VehicleID에서 DF-CVTC를 사용한 제안 방법(표 II).

실험 결과

연구 질문

• RQ1 VehicleID
• RQ2 1600
• RQ3 74.87
• RQ4 72.15
• RQ5 84.37
• RQ6 VehicleID에서 DF-CVTC를 사용한 제안 방법(표 II).

주요 결과

데이터셋	테스트 크기	mAP	Rank-1	Rank-5	Notes
VeRi-776	All (DF-CVTC)	61.06	91.36	95.77	세 가지 속성 서브네트워크를 모두 사용한 VeRi-776에서의 제안 방법(Table I).
VehicleID	800	78.03	75.23	88.11	VehicleID에서 DF-CVTC를 사용한 제안 방법(Table II).
VehicleID	1600	74.87	72.15	84.37	VehicleID에서 DF-CVTC를 사용한 제안 방법(Table II).
VehicleID	2400	73.15	70.46	82.13	VehicleID에서 DF-CVTC를 사용한 제안 방법(Table II).

• VehicleID
• 2400
• 73.15
• 70.46
• 82.13
• VehicleID에서 DF-CVTC를 사용한 제안 방법(표 II).