[논문 리뷰] Eliminating cross-camera bias for vehicle re-identification

Jinjia Peng, Guangqi Jiang외 4명|arXiv (Cornell University)|2019. 12. 21.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 4

한 줄 요약

이 논문은 차량 재식별에서 교차 카메라 편향을 줄이기 위해 크로스-카메라 어댑테이션(Cross-Camera Adaptation, CCA) 프레임워크와 어텐션 정렬 네트워크(Attention Alignment Network, AANet)를 제안한다. 이는 이미지를 공통 카메라 도메인으로 이전시키고, 구분력 있는 차량 부위에 초점을 맞추어 성능을 향상시킨다. 제안된 방법은 최신 기준 성능을 달성하여 VeRi-776에서 mAP를 2.6% 향상시키고, 랭크-1 정확도를 1.65% 향상시켰다.

ABSTRACT

Vehicle re-identification (reID) often requires recognize a target vehicle in large datasets captured from multi-cameras. It plays an important role in the automatic analysis of the increasing urban surveillance videos, which has become a hot topic in recent years. However, the appearance of vehicle images is easily affected by the environment that various illuminations, different backgrounds and viewpoints, which leads to the large bias between different cameras. To address this problem, this paper proposes a cross-camera adaptation framework (CCA), which smooths the bias by exploiting the common space between cameras for all samples. CCA first transfers images from multi-cameras into one camera to reduce the impact of the illumination and resolution, which generates the samples with the similar distribution. Then, to eliminate the influence of background and focus on the valuable parts, we propose an attention alignment network (AANet) to learn powerful features for vehicle reID. Specially, in AANet, the spatial transfer network with attention module is introduced to locate a series of the most discriminative regions with high-attention weights and suppress the background. Moreover, comprehensive experimental results have demonstrated that our proposed CCA can achieve excellent performances on benchmark datasets VehicleID and VeRi-776.

연구 동기 및 목표

• 일조 조건, 시점, 해상도, 배경의 변화로 인해 발생하는 차량 재식별에서의 심각한 교차 카메라 편향을 해결한다.
• 다양한 카메라 간의 도메인 이탈을 줄이기 위해 다중 카메라 이미지를 공통 기준 카메라 공간으로 이전시켜 외관 차이를 정규화한다.
• 구분력 있는 차량 부위에 집중하고 배경 간섭을 억제함으로써 특징 학습을 향상시킨다.
• 도메인 적응과 어텐션 기반 특징 추출을 통합한 단일 프레임워크를 개발하여 강력한 차량 재식별을 구현한다.
• 카메라 고유의 편향을 완화함으로써 벤치마크 데이터셋 VeRi-776과 VehicleID에서 최신 기준 성능을 달성한다.

제안 방법

• 다양한 카메라의 차량 이미지를 단일 기준 카메라 도메인으로 이전시키기 위해 StarGAN 기반의 이미지 변환을 활용하여 조명, 해상도, 배경을 정렬한다.
• 공간 변환 네트워크(STN)에 어텐션 모듈을 통합한 어텐션 정렬 네트워크(AANet)를 도입하여 차량의 고구분력 영역을 국소화하고 집중한다.
• STN과 어텐션을 결합하여 차량 이미지에서 유의미한 특징을 동적으로 식별하고 추출함으로써 배경 간섭을 감소시킨다.
• 전역 특징, 부분 기반 특징, 융합 특징을 학습하는 다중 브랜치 아키텍처를 적용하여 표현력을 향상시킨다.
• 교차 카메라 대비 손실과 트리플릿 손실을 최적화하여 도메인 간 특징의 구분력을 향상시킨다.
• 이미지 변환을 통한 도메인 적응을 적용하여 카메라 간 분포 이탈을 줄이고, 다양한 카메라 시점에서의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 조명, 시점, 해상도의 차이로 인한 교차 카메라 외관 편향을 차량 재식별에서 효과적으로 줄일 수 있는가?
• RQ2 이미지 변환을 통한 도메인 적응이 다중 카메라 감시 시스템 간 특징 일반화에 얼마나 기여하는가?
• RQ3 전역 특징 추출에 비해 차량 부위의 어텐션 기반 국소화가 특징의 구분력을 향상시키는가?
• RQ4 전역 특징, 부분 기반 특징, 융합 특징을 융합하면 재식별 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 VeRi-776과 VehicleID와 같은 표준 벤치마크에서 기존 최신 기준 방법을 초월하는가?

주요 결과

• 제안된 CCA 프레임워크는 도메인 적응 없이 기존 AANet 대비 VeRi-776에서 mAP를 2.6% 향상시키고, 랭크-1 정확도를 1.65% 향상시켰다.
• 어텐션 기반 국소화를 적용한 AANet는 고정된 부분 기반 분할 방식에 비해 VeRi-776에서 mAP를 2.34% 향상시키고, 랭크-1 정확도를 2.68% 향상시켰다.
• VehicleID에서, 3200개의 테스트 세트에서 3.61%의 mAP 향상을 기록하여 다양한 데이터 스케일에 대한 강건성을 입증했다.
• 전역 특징과 부분 기반 특징을 융합하면 VeRi-776에서 전역 특징만 사용할 경우 대비 mAP가 11.34% 향상되었으며, 다중 척도 특징 학습의 유용성을 확인했다.
• 시각화 결과는 다양한 시점과 조명 조건에서도 높은 검색 정확도와 강건성을 보였다.
• 제거 실험 결과, 이미지 변환(도메인 적응)과 어텐션 기반 국소화 모두 성능 향상에 필수적임을 확인했다.