[논문 리뷰] Multi-Domain Learning and Identity Mining for Vehicle Re-Identification

Shuting He, Hao Luo외 6명|arXiv (Cornell University)|2020. 04. 22.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 5

한 줄 요약

이 논문은 실세계 및 합성 데이터를 사용하여 차량 재식별(ReID) 성능을 향상시키기 위해 다중 도메인 학습(MDL) 전략과 신원 마이닝(IM) 방법을 제안한다. 도메인 인식 미세조정과 함께 실세계 및 합성 데이터를 동시에 훈련하고, IM을 통해 고신뢰도 가짜 레이블을 생성함으로써, 0.7322 mAP를 달성하여 AICITY2020 Track2 경연에서 3위를 기록하였다.

ABSTRACT

This paper introduces our solution for the Track2 in AI City Challenge 2020 (AICITY20). The Track2 is a vehicle re-identification (ReID) task with both the real-world data and synthetic data. Our solution is based on a strong baseline with bag of tricks (BoT-BS) proposed in person ReID. At first, we propose a multi-domain learning method to joint the real-world and synthetic data to train the model. Then, we propose the Identity Mining method to automatically generate pseudo labels for a part of the testing data, which is better than the k-means clustering. The tracklet-level re-ranking strategy with weighted features is also used to post-process the results. Finally, with multiple-model ensemble, our method achieves 0.7322 in the mAP score which yields third place in the competition. The codes are available at https://github.com/heshuting555/AICITY2020_DMT_VehicleReID.

연구 동기 및 목표

• 실세계 및 합성 차량 ReID 데이터셋 간의 도메인 이동 문제를 해결하기 위해.
• 외부 애너테이션 없이도 합성 데이터를 효과적으로 활용하여 ReID 성능을 향상시키기 위해.
• 신원 마이닝을 통해 테스트 데이터의 정확한 가짜 레이블을 자동으로 생성하기 위해.
• 다중 모델 앙상블 및 후처리를 통해 모델 일반화 능력과 mAP를 향상시키기 위해.

제안 방법

• 실세계 데이터와 일부 합성 데이터에서 사전 훈련한 후, 초기층을 동결한 상태에서 실세계 데이터로 도메인 인식 미세조정을 수행하는 다중 도메인 학습(MDL) 방법을 제안한다.
• 신원 마이닝(IM)을 도입하여 각 신원별로 고신뢰도 샘플을 클러스터링 중심으로 선정하고, 유사한 샘플에 가짜 레이블을 할당함으로써 저품질 클러스터링을 방지한다.
• 시간적 일관성을 활용하여 검색 결과를 개선하기 위해 가중치가 부여된 특징(WF-TRR)을 사용하는 트랙릿 수준 재정렬 전략을 적용한다.
• 차량 ReID에 적합하도록 학습률, 최적화기, 손실 함수를 수정한 인물 ReID의 강력한 베이스라인(BoT-BS)을 사용한다.
• 단일 모델 성능을 초월하기 위해 다중 모델 앙상블을 활용하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 매우 큰 도메인 편향이 존재하는 합성 데이터를 실세계 차량 ReID 성능 향상에 효과적으로 활용할 수 있는가?
• RQ2 표준 k-means 클러스터링을 초월하여 테스트 데이터의 가짜 레이블링을 어떻게 향상시킬 수 있는가?
• RQ3 도메인별 미세조정을 수행하는 다중 도메인 학습이 공동 훈련 또는 합성 데이터에서의 사전 훈련보다 우수한가?
• RQ4 가중치가 부여된 특징을 사용하는 트랙릿 수준 재정렬이 차량 ReID에서 mAP 향상에 얼마나 기여하는가?

주요 결과

• 제안된 MDL 방법은 CityFlow 벤치마크에서 mAP를 59.3%에서 65.3%로 향상시켜 공동 훈련 및 사전 훈련 베이스라인을 압도한다.
• 신원 마이닝은 Split-test에서 98.7%의 정확도로 가짜 레이블을 생성하여 k-means 클러스터링(84.0% 정확도)을 크게 능가한다.
• 베이스라인 + IM 조합은 CityFlow에서 68.5% mAP를 달성하여 베이스라인 대비 3.2% 향상되었으며, 고신뢰도 가짜 레이블링의 효과를 입증한다.
• WF-TRR, MDL, IM, 앙상블을 포함한 전체 파이프라인은 0.7322 mAP를 기록하여 AICITY2020 Track2에서 41개 팀 중 3위를 차지하였다.
• 절단 분석을 통해 WF-TRR, MDL, IM, 앙상블 각각의 구성 요소가 최종 mAP 향상에 점진적으로 기여하는 것으로 확인되었다.