[논문 리뷰] Cross Domain Knowledge Learning with Dual-branch Adversarial Network for Vehicle Re-identification

Jinjia Peng, Huibing Wang외 1명|arXiv (Cornell University)|2019. 04. 30.

Advanced Neural Network Applications참고 문헌 34인용 수 4

한 줄 요약

이 논문은 비정형 타겟 도메인 이미지의 스타일을 레이블이 부여된 소스 도메인 이미지로 전이하면서 신원 정보를 유지하는 이중 지압 적대적 네트워크(Dual-branch Adversarial Network, DAN)를 사용하는 도메인 적응 프레임워크 DAVR을 제안한다. 생성된 이미지는 이후 주의 기반 특징 학습 네트워크(ATTNet)의 훈련에 사용되며, VeRi-776 및 VehicleID 데이터셋에서 교차 도메인 재식별 성능이 크게 향상되어 순위 1 정확도가 최대 9.05% 향상된다.

ABSTRACT

The widespread popularization of vehicles has facilitated all people's life during the last decades. However, the emergence of a large number of vehicles poses the critical but challenging problem of vehicle re-identification (reID). Till now, for most vehicle reID algorithms, both the training and testing processes are conducted on the same annotated datasets under supervision. However, even a well-trained model will still cause fateful performance drop due to the severe domain bias between the trained dataset and the real-world scenes. To address this problem, this paper proposes a domain adaptation framework for vehicle reID (DAVR), which narrows the cross-domain bias by fully exploiting the labeled data from the source domain to adapt the target domain. DAVR develops an image-to-image translation network named Dual-branch Adversarial Network (DAN), which could promote the images from the source domain (well-labeled) to learn the style of target domain (unlabeled) without any annotation and preserve identity information from source domain. Then the generated images are employed to train the vehicle reID model by a proposed attention-based feature learning model with more reasonable styles. Through the proposed framework, the well-trained reID model has better domain adaptation ability for various scenes in real-world situations. Comprehensive experimental results have demonstrated that our proposed DAVR can achieve excellent performances on both VehicleID dataset and VeRi-776 dataset.

연구 동기 및 목표

• 훈련 및 실세계 테스트 환경 간의 도메인 편향으로 인한 차량 재식별 성능 저하 문제를 해결한다.
• 스타일 및 외관의 변동으로 인해 새로운 도메인에서 실패하는 감독 기반 재식별 모델의 한계를 극복한다.
• 추가 애너테이션 없이 레이블이 부여된 소스 데이터와 레이블이 없는 타겟 데이터만을 활용하는 비지도 도메인 적응 방법을 개발한다.
• 신원을 유지하면서 타겟 도메인 특성에 적응하는 현실적인 스타일 전이 이미지를 생성함으로써 모델의 일반화 능력을 향상시킨다.
• 구분 가능한 차량 부위에 집중함으로써 특징 표현을 향상시키는 주의 기반 특징 학습 모듈을 설계한다.

제안 방법

• 내용과 스타일 학습을 별도의 브랜치로 분리하는 이중 지압 적대적 네트워크(DAN)를 제안한다. 하나는 소스 도메인의 내용 인코딩을 위한 것이고, 다른 하나는 타겟 도메인의 스타일 인코딩을 위한 것이다.
• 이미지 번역 과정에서 신원을 유지하기 위해 적대적 손실과 사이클 일致성 손실을 사용하여, 끝에서 끝까지 학습하는 방식으로 DAN을 훈련시킨다.
• 이미지 번역 과정에서 내용 복원 및 신원 손실을 강제로 적용하여 신원 정보를 유지한다.
• 구분 가능한 차량 부위에 집중함으로써 특징 표현을 향상시키는 주의 기반 특징 학습 네트워크(ATTNet)를 도입한다.
• DAN에서 생성된 이미지를 사용하여 재식별 모델을 미세 조정함으로써, 모델이 새로운 타겟 도메인으로 일반화하는 데에 도움이 된다.
• 이미지 번역 모듈과 특징 학습 모듈을 통합하여 종단 간 도메인 적응 프레임워크(DAVR)를 설계하여 교차 도메인 차량 재식별을 위한 최적의 솔루션을 제공한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 타겟 도메인 이미지의 시각적 스타일을 레이블이 부여된 소스 도메인 이미지로 효과적으로 전이할 수 있는가? 이 과정에서 신원 정보를 손실 없이 유지할 수 있는가?
• RQ2 제안된 이중 지압 적대적 네트워크(DAN)는 기존의 GAN 기반 방법에 비해 차량 재식별을 위한 도메인 스타일 전이 시 신원을 얼마나 잘 유지하는가?
• RQ3 도메인 전이된 이미지에서 훈련된 주의 기반 특징 학습 모듈(ATTNet)은 재식별 성능을 얼마나 향상시키는가?
• RQ4 제안된 DAVR 프레임워크는 VeRi-776 및 VehicleID와 같은 교차 도메인 차량 재식별 벤치마크에서 최신 기술 수준의 성능을 달성하는가?
• RQ5 다양한 실세계 시나리오, 즉 조명, 시점, 배경이 다양한 환경에서도 프레임워크가 일반화 가능한가?

주요 결과

• ATTNet를 사용하여 VehicleID에서 훈련하고 VeRi-776에서 테스트할 경우, DAVR은 기준 모델 대비 mAP에서 4.35% 향상되었다.
• VeRi-776에서 훈련하고 VehicleID에서 테스트할 경우, ATTNet 모듈을 사용한 결과, 순위 1 정확도가 9.05% 향상되었다.
• CMC 곡선은 두 데이터셋 모두에서 테스트 세트 크기가 800에서 3200까지 다양할 때 일관되고 뚜렷한 향상이 나타났다.
• t-SNE 시각화 결과, DAVR가 학습한 특징는 기준 모델 대비 더 높은 클래스 분리성과 더 낮은 내부 클래스 분산을 보였다.
• 그림 11의 검색 결과는 시점 및 조명 변화에 대해 뛰어난 내성성을 보였으며, 도전적인 조건에서도 정확한 매칭 결과를 확보하였다.
• 제거 실험 결과, 전체 성능 향상에 있어 이미지 번역(DAN) 및 특징 학습(ATTNet) 모듈이 모두 필수적임을 확인하였다.