[논문 리뷰] Viewpoint-aware Progressive Clustering for Unsupervised Vehicle Re-identification

Aihua Zheng, X.H. Sun외 2명|arXiv (Cornell University)|2020. 11. 18.

Video Surveillance and Tracking Methods참고 문헌 44인용 수 4

한 줄 요약

이 논문은 시점에 민감한 점진적 군집화(VAPC)를 제안하며, 예측된 시점에 따라 특징 공간을 분할하고 점진적 군집화를 적용하여 내부 클래스 변동을 감소시키는 새로운 비지도 차량 재식별 방법이다. 이 방법은 VeRi 및 VeRi-Wild 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 비지도 설정에서 VeRi-776에서 76.2%의 Rank-1 정확도를 기록했고, 잘못된 시점 예측이 있을 경우에도 성능이 유지된다.

ABSTRACT

Vehicle re-identification (Re-ID) is an active task due to its importance in large-scale intelligent monitoring in smart cities. Despite the rapid progress in recent years, most existing methods handle vehicle Re-ID task in a supervised manner, which is both time and labor-consuming and limits their application to real-life scenarios. Recently, unsupervised person Re-ID methods achieve impressive performance by exploring domain adaption or clustering-based techniques. However, one cannot directly generalize these methods to vehicle Re-ID since vehicle images present huge appearance variations in different viewpoints. To handle this problem, we propose a novel viewpoint-aware clustering algorithm for unsupervised vehicle Re-ID. In particular, we first divide the entire feature space into different subspaces according to the predicted viewpoints and then perform a progressive clustering to mine the accurate relationship among samples. Comprehensive experiments against the state-of-the-art methods on two multi-viewpoint benchmark datasets VeRi and VeRi-Wild validate the promising performance of the proposed method in both with and without domain adaption scenarios while handling unsupervised vehicle Re-ID.

연구 동기 및 목표

• 극단적인 시점 변화로 인해 발생하는 차량 Re-ID에서의 큰 내부 클래스 차이와 외부 클래스 유사성 문제를 해결한다.
• 사람 Re-ID 군집화 방법을 차량에 직접 적용할 경우 발생하는 '유사도 딜레마' 문제를 해결한다. 이는 유사한 시점에서 찍힌 다른 차량이 서로 더 유사하게 보이며, 같은 차량이 다른 시점에서 찍힐 경우 더 유사도가 낮아지는 현상이다.
• 라벨이 부여된 소스 도메인 데이터가 필요 없는 타겟 전용 비지도 학습 프레임워크를 개발하여, 고비용 애너테이션을 수반하는 도메인 적응에 의존하지 않는다.
• 시점 인식 특징 분할과 다양한 시점 간의 점진적 군집 병합을 통해 비지도 차량 Re-ID의 군집 정확도를 향상시킨다.

제안 방법

• 사전 학습된 시점 애너테이션을 사용하여 차량 이미지의 시점을 예측하는 시점 인식 네트워크를 제안하며, 이는 특징 공간을 분할하는 사전 정보로 기능한다.
• 예측된 시점에 기반해 특징 공간을 부분 공간으로 나누어, 각 시점 그룹 내에서 군집화를 수행함으로써 시점 간 변동을 줄이고 군집화 작업을 단순화한다.
• 유사도에 기반해 점진적으로 군집을 병합하는 전략을 구현하며, 동일 시점 군집에서 시작하여 점차 높은 시점 간 유사도를 가진 군집을 병합한다.
• 임계값 파rameter $\tilde{k}$를 사용해 클러스터링 중에 노이즈 샘플을 식별하고 분리하는 노이즈 선택 메커니즘을 도입하여, 잘못된 분류에 대한 강건성을 향상시킨다.
• t_i-번째 근접 이웃 쌍에서 유도된 거리 임계값 $\tau$를 사용해 시점 간 군집 병합을 제어하며, 군집의 밀집도와 정확도 사이의 균형을 유지한다.
• 가짜 레이블이 부여된 군집을 반복적으로 재학습하여 특징를 개선하고, 점진적 단계를 거쳐 군집 품질을 향상시킨다.

Figure 1: Illustration of major challenges in vehicle Re-ID. Different vehicles with the same viewpoint have higher visual similarity than those same vehicles with different viewpoints, and it is very common in real scenes that the same vehicle with different viewpoints sometimes has a similar appea

실험 결과

연구 질문

• RQ1 시점 변화로 인한 내부 클래스 변동을 줄이기 위해 시점 인식 군집화가 비지도 차량 Re-ID 성능을 크게 향상시킬 수 있는가?
• RQ2 단일 단계 군집화에 비해 다양한 시점 간의 점진적 군집 병합 전략은 차량 Re-ID에서 군집 정확도를 어떻게 향상시키는가?
• RQ3 시점 예측 정확도가 낮을 경우 제안된 방법의 성능는 얼마나 떨어지며, 낮은 정확도의 시점 분류기 조건에서도 강건성을 유지할 수 있는가?
• RQ4 실세계 환경에서 노이즈 샘플의 영향을 줄이기 위해 제안된 노이즈 선택 전략은 군집 품질에 얼마나 효과적인가?

주요 결과

• 제안된 VAPC 방법은 비지도 설정에서 VeRi-776 벤치마크에서 76.2%의 Rank-1 정확도를 달성하여 기존 최신 기술 수준의 비지도 방법을 능가한다.
• 시점 분류기 정확도가 0.5에 불과한 경우에도 70%의 Rank-1 정확도를 유지하여, 잘못된 또는 노이즈가 많은 시점 예측에 대해 강건함을 입증한다.
• 점진적 군집화 전략은 조정된 상호정보량(AMI) 측정 기준으로 군집 품질 향상에 기여하며, 반복적인 군집화 단계에서 성능이 점진적으로 향상된다.
• 파라미터 분석 결과, $t_i = 1200$ 및 $\tilde{k} = 2$가 최적의 성능을 내며, 특히 VeRi-Wild와 같이 내부 클래스 간 차이가 작은 데이터셋에서 군집 병합 정확도와 노이즈 제어의 균형을 잘 유지한다.
• VeRi-776 및 VeRi-Wild 양쪽 모두에서 뛰어난 성능을 기록하여, 소스 도메인 애너테이션 없이도 다양한 실세계 다중 시점 환경에서의 효과성을 입증한다.
• 노이즈 선택 전략은 노이즈 샘플의 부정적 영향을 효과적으로 줄이며, 반복적 군집화 과정에서 성능 붕괴를 방지하고 안정성을 향상시킨다.

Figure 2: The overview of our method framework. We first predict each viewpoint, and then the viewpoint-aware unlabeled training set is input to the CNN model for feature extraction, which can be divided into different directional feature clusters. Then we will go through a recognition stage to make