[논문 리뷰] StRDAN: Synthetic-to-Real Domain Adaptation Network for Vehicle Re-Identification

Sangrok Lee, Eunsoo Park외 2명|arXiv (Cornell University)|2020. 04. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 40

한 줄 요약

이 논문은 실재 데이터가 제한된 상황에서 대량의 합성 데이터를 활용하기 위해 합성에서 실재로의 도메인 적응 네트워크인 StRDAN을 제안한다. 이는 적대적 도메인 적응과 준감독 학습을 결합하여 실재 데이터의 양이 적은 상황에서도 높은 성능을 달성한다. 신체 정체성, 색상, 차량 유형, 방향성에 대한 공동 및 분리된 손실을 실재 및 합성 데이터 양쪽에서 동시에 학습함으로써 StRDAN은 CityFlow-ReID 및 VeRi 데이터셋에서 실재 데이터 전용 기준 모델 대비 각각 12.9% 및 3.1%의 mAP 향상을 달성한다.

ABSTRACT

Vehicle re-identification aims to obtain the same vehicles from vehicle images. This is challenging but essential for analyzing and predicting traffic flow in the city. Although deep learning methods have achieved enormous progress for this task, their large data requirement is a critical shortcoming. Therefore, we propose a synthetic-to-real domain adaptation network (StRDAN) framework, which can be trained with inexpensive large-scale synthetic and real data to improve performance. The StRDAN training method combines domain adaptation and semi-supervised learning methods and their associated losses. StRDAN offers significant improvement over the baseline model, which can only be trained using real data, for VeRi and CityFlow-ReID datasets, achieving 3.1% and 12.9% improved mean average precision, respectively.

연구 동기 및 목표

• 실재 차량 Re-ID 데이터의 부족 문제를 해결하기 위해 대규모이고 저비용인 합성 데이터를 활용한다.
• 합성 이미지와 실재 이미지 간의 도메인 차이를 줄이기 위해 적대적 도메인 적응을 적용한다.
• 합성 데이터에서만 이용 가능한 보조 레이블(색상, 유형, 방향성)을 준감독 학습을 통해 활용하여 특징 학습을 향상시킨다.
• 최소한의 실재 데이터 레이블링으로도 최신 기준 성능을 달성한다.

제안 방법

• 실재 및 합성 이미지에서 특징 추출을 위해 ResNet-50 백본을 사용한다.
• 합성 및 실재 도메인 간의 특징 분포를 정렬하기 위해 적대적 손실을 사용하는 도메인 구분 헤드를 적용한다.
• 색상, 유형, 방향성에 대한 분리된 크로스 엔트로피 손실은 합성 데이터에만 적용하여 준감독 학습을 가능하게 한다.
• 차량 ID 분류, 트리플릿 손실, 도메인 적대적 손실을 조합하여 엔드 투 엔드 학습을 수행한다.
• ID, 도메인, 색상, 유형, 방향성 분류를 위한 다섯 개의 소프트맥스 헤드를 사용하는 다중 작업 학습 설정을 적용한다.
• 일반화 성능 향상을 위해 데이터 증강(수평 반전, 무작위 제거)과 재랭킹 후처리 기법을 적용한다.

실험 결과

연구 질문

• RQ1 적대적 도메인 적응이 Re-ID에서 합성과 실재 차량 이미지 간의 도메인 차이를 효과적으로 줄일 수 있는가?
• RQ2 합성 데이터 전용 레이블(색상, 유형, 방향성)을 활용한 준감독 학습이 실재 데이터에서의 모델 일반화에 어느 정도 기여하는가?
• RQ3 색상, 유형, 방향성에 대한 다양한 조합의 분리된 손실이 최종 Re-ID 성능에 어떤 영향을 미치는가?
• RQ4 보조 레이블이 포함된 합성 데이터에서의 학습이 실재 데이터에서만 학습하는 것보다 더 나은 특징 학습을 이끌어내는가?

주요 결과

• StRDAN은 CityFlow-ReID 데이터셋에서 실재 데이터 전용 기준 모델 대비 12.9%의 mAP 향상을 달성했다.
• VeRi 데이터셋에서는 StRDAN이 실재 데이터 전용 기준 모델 대비 mAP를 3.1% 향상시켰다.
• CityFlow-ReID에서 최고의 성능은 방향성만에 대한 지도 학습(사례 4)에서 달성되었으며, 모든 세 가지 보조 레이블을 포함할 경우 성능이 떨어졌다.
• VeRi에서 최고의 성능은 방향성만에 대한 지도 학습(사례 2)에서 달성되었으며, 이는 보조 레이블이 항상 성능 향상에 기여하지는 않음을 시사한다.
• AI City 데이터셋에서는 모든 분리된 손실을 사용할 경우 모델이 수렴하지 못했으며, 이는 잠재적인 갈등 또는 과적합의 가능성을 시사한다.
• 성능는 실재 데이터셋에 매우 의존적이었으며, 이는 도메인 차이와 데이터 품질이 모델 행동에 크게 영향을 미친다는 것을 의미한다.