[논문 리뷰] VehicleNet: Learning Robust Visual Representation for Vehicle Re-identification

Zhedong Zheng, Tao Ruan외 3명|arXiv (Cornell University)|2020. 04. 14.

Video Surveillance and Tracking Methods참고 문헌 53인용 수 5

한 줄 요약

이 논문은 네 개의 공개 데이터셋을 통합한 대규모 다중 소스 차량 재식별 데이터셋인 VehicleNet과, 강건하고 시점에 강인한 시각적 표현을 학습하기 위한 이단계 점진적 학습 방법을 제안한다. 먼저 분류 손실을 사용해 VehicleNet에서 사전 훈련한 후, 분포 차이를 줄이기 위해 대상 도메인에서 미세 조정하는 방식으로, AICity 챌린지 비공개 테스트 세트에서 86.07%의 mAP를 달성하여 우수한 성능을 기록하고, 새로운 최고 성능을 설정한다.

ABSTRACT

One fundamental challenge of vehicle re-identification (re-id) is to learn robust and discriminative visual representation, given the significant intra-class vehicle variations across different camera views. As the existing vehicle datasets are limited in terms of training images and viewpoints, we propose to build a unique large-scale vehicle dataset (called VehicleNet) by harnessing four public vehicle datasets, and design a simple yet effective two-stage progressive approach to learning more robust visual representation from VehicleNet. The first stage of our approach is to learn the generic representation for all domains (i.e., source vehicle datasets) by training with the conventional classification loss. This stage relaxes the full alignment between the training and testing domains, as it is agnostic to the target vehicle domain. The second stage is to fine-tune the trained model purely based on the target vehicle set, by minimizing the distribution discrepancy between our VehicleNet and any target domain. We discuss our proposed multi-source dataset VehicleNet and evaluate the effectiveness of the two-stage progressive representation learning through extensive experiments. We achieve the state-of-art accuracy of 86.07% mAP on the private test set of AICity Challenge, and competitive results on two other public vehicle re-id datasets, i.e., VeRi-776 and VehicleID. We hope this new VehicleNet dataset and the learned robust representations can pave the way for vehicle re-id in the real-world environments.

연구 동기 및 목표

• 차량 재식별에서 훈련 데이터가 제한된 문제를 해결하기 위해 대규모 다중 소스 데이터셋을 구축한다.
• 시점, 조도, 가림 등의 변형에 강인한 강력한 분류 가능한 시각적 표현을 학습한다.
• 일반적인 차량 지식에서 특정 대상 도메인으로 모델을 적응시키기 위한 이단계 점진적 학습 전략을 개발한다.
• 실세계 벤치마크, 특히 AICity 챌린지, VeRi-776, VehicleID에서의 평가를 통해 일반화 능력과 성능 향상을 입증한다.

제안 방법

• 네 개의 공개 차량 데이터셋을 통합하여 VehicleNet을 구축함으로써, 훈련 이미지 수를 26,803개에서 434,440개로 증가시킨다.
• 첫 번째 단계에서 표준 크로스 엔트로피 분류 손실을 사용해 VehicleNet에서 CNN 모델을 훈련시켜 일반적인 차량 표현을 학습한다.
• 두 번째 단계에서 대상 데이터셋에서 분포 차이를 최소화하도록 사전 훈련된 모델을 미세 조정한다.
• 테스트 세트에서 성능을 추가로 향상시키기 위해 데이터 증강, 쿼리 확장, 재랭킹, 모델 앙상블 기법을 적용한다.
• 훈련 시 균형 임의 샘플링 정책을 사용했지만, 희귀 클래스에서 과적합이 발생하여 성능에 악영향을 미쳐, 기본적으로 단순 샘플링을 사용한다.
• 중간층의 활성화 맵을 사용해 학습된 주의 맵을 시각화하여, 모델이 헤드라이트나 타이어와 같은 분류에 기여하는 부분에 집중하는지 분석한다.

실험 결과

연구 질문

• RQ1 여러 공개 차량 데이터셋을 하나의 대규모 데이터셋으로 통합함으로써, 차량 재식별에서 특징의 강인성을 향상시킬 수 있는가?
• RQ2 일반 데이터셋에서 사전 훈련한 후 도메인 특화 미세 조정을 수행하는 이단계 점진적 학습 전략이 단일 단계 훈련보다 더 높은 성능을 내는가?
• RQ3 장꼬리 분포를 가진 다중 소스 데이터셋에서 훈련할 경우, 데이터 샘플링 정책은 모델 일반화에 어떤 영향을 미치는가?
• RQ4 쿼리 확장 및 재랭킹과 같은 후처리 기법이 실세계 차량 재식별 환경에서 mAP 향상에 얼마나 기여하는가?
• RQ5 다양한 시점과 조도 조건에서 학습된 딥 특징은 명시적인 부위 정렬 또는 속성 인식 없이도 본질적으로 시점에 강인한가?

주요 결과

• 제안된 이단계 방법은 AICity 챌린지 비공개 테스트 세트에서 86.07%의 mAP를 달성하여 공식 챔피언을 초월한다.
• 시간적·공간적 애너테이션 없이 CityFlow 검증 세트에서 75.60% mAP의 경쟁력 있는 성능을 기록했으며, 애너테이션이 추가되면 86.07%로 향상된다.
• SE-ResNeXt101은 테스트된 백본 중에서 CityFlow 검증 세트에서 83.37% Rank@1과 48.71% mAP로 가장 높은 성능를 기록한다.
• 희귀 클래스에서 과적합이 발생하여 성능에 악영향을 미치므로, 클래스 불균형이 존재하더라도 균형 샘플링 정책은 성능을 떨어뜨리므로 단순 샘플링을 우선시한다.
• 주의 맵의 시각화 결과, 모델이 다양한 시점에서 헤드라이트나 타이어와 같은 분류에 기여하는 차량 부위에 집중하는 것을 확인할 수 있다.
• VehicleNet(31,805개 클래스)에서 60 에포크 내로 수렴하고, 대상 도메인에서 12 에포크 내로 미세 조정이 완료되어 효과적인 사전 훈련이 이루어졌음을 시사한다.