[논문 리뷰] Parsing-based View-aware Embedding Network for Vehicle Re-Identification

Dechao Meng, Liang Li외 7명|arXiv (Cornell University)|2020. 04. 10.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 11

한 줄 요약

이 논문은 U-Net 스타일의 파트 파서를 사용하여 네 가지 뷰 마스크(앞, 뒤, 상단, 측면)를 생성함으로써 뷰 인식 특징 정렬과 공통 가시 주의 메커니즘을 통해 분류 가능한 특징을 향상시키는 파싱 기반 뷰 인식 임베딩 네트워크(PVEN)를 제안한다. 이는 내부 인stance 간의 외관 변동성을 줄이고 외부 인stance 간의 차이를 증가시켜 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Vehicle Re-Identification is to find images of the same vehicle from various views in the cross-camera scenario. The main challenges of this task are the large intra-instance distance caused by different views and the subtle inter-instance discrepancy caused by similar vehicles. In this paper, we propose a parsing-based view-aware embedding network (PVEN) to achieve the view-aware feature alignment and enhancement for vehicle ReID. First, we introduce a parsing network to parse a vehicle into four different views, and then align the features by mask average pooling. Such alignment provides a fine-grained representation of the vehicle. Second, in order to enhance the view-aware features, we design a common-visible attention to focus on the common visible views, which not only shortens the distance among intra-instances, but also enlarges the discrepancy of inter-instances. The PVEN helps capture the stable discriminative information of vehicle under different views. The experiments conducted on three datasets show that our model outperforms state-of-the-art methods by a large margin.

연구 동기 및 목표

• 크로스 카메라 ReID에서 다양한 차량 뷰로 인한 내부 인stance 간 외관 변동성을 해결하기 위해.
• 같은 색상과 유형을 가진 유사한 차량 간의 미세한 외부 인stance 간 겹침을 줄이기 위해.
• 다양한 시점에서 일반화 가능한 안정적이고 분류 가능한 특징을 학습하기 위해.
• 파싱 및 주의 메커니즘을 활용하여 다양한 뷰 간의 특징 정렬과 향상을 향상시키기 위해.

제안 방법

• U-Net 기반의 차량 파트 파서가 세분화된 공간적 감독을 위해 네 가지 뷰 전용 세그먼테이션 마스크(앞, 뒤, 상단, 측면)를 생성한다.
• 마스크 평균 풀링을 통해 전역 특징 맵에서 뷰 인식 특징을 추출하여 각 뷰에 대해 완전한 공간 커버리지 보장한다.
• 공통 가시 주의 메커니즘이 두 차량 간 겹치는 가시 영역에 집중하여 분류 가능한 국소 특징을 향상시킨다.
• 삼중 체손을 전역 특징과 뷰 인식 국소 특징 양쪽에 적용하여 내부 인stance 거리의 최소화와 외부 인stance 간 거리의 최대화를 달성한다.
• 추론 단계에서는 최종 거리 계산에 전역 특징과 국소 뷰 인식 특징을 조합하여 매칭 성능을 향상시킨다.
• 거리 히트맵을 시각화하여 주의 메커니즘이 일치하는 공통 가시 영역(예: 측면 및 상단)에 집중하는 반면, 기준 모델은 일치하지 않는 부분(예: 앞, 뒤 조명)에 집중하는 것을 확인할 수 있다.

실험 결과

연구 질문

• RQ1 어떻게 다양한 차량 뷰 간 특징를 정렬하여 내부 인stance 간 외관 변동성을 효과적으로 줄일 수 있는가?
• RQ2 차량 간 공통 가시 영역에 집중함으로써 어떻게 분류 가능한 국소 특징를 향상시킬 수 있는가?
• RQ3 파싱 기반 접근법이 큰 시점 변화 하에서도 특징 표현의 안정성을 향상시킬 수 있는가?
• RQ4 뷰 인식 특징 학습이 차량 ReID에서 데이터셋 간 전이 가능성에 얼마나 기여하는가?

주요 결과

• PVEN는 VERI-Wild에서 학습한 후 VehicleID에서 77.2% CMC@1과 94.4% CMC@5를 달성하여 테스트 세트에서의 학습 없이도 RAM과 EALN을 능가한다.
• 모델은 VeRi776, VehicleID, VERI-Wild의 세 벤치마크 데이터셋에서 모두 최신 기술 수준(mAP 및 CMC 점수)을 달성한다.
• 시각화 결과 PVEN의 뷰 인식 학습이 공통 가시 영역(예: 측면 및 상단)에 집중하는 반면, 기준 모델은 일치하지 않는 부분(예: 앞, 뒤 조명)에 집중하는 것으로 나타났다.
• 공통 가시 주의 메커니즘이 효과적으로 내부 인stance 거리를 줄이고 외부 인stance 간 겹침을 증가시켜 일반화 성능을 향상시켰다.
• 데이터셋 간 전이 결과는 뷰 인식 특징 학습이 데이터셋 간 다른 뷰 분포로 인한 분포 이동을 완화시킴을 확인했다.
• 정성적 결과는 PVEN이 다양한 뷰 간에 정확한 차량을 검색하는 반면, 기준 모델은 동일한 뷰와 유사한 색상의 차량만 검색하는 경향이 있음을 보여주었다.