[논문 리뷰] Attribute-guided Feature Learning Network for Vehicle Re-identification

Huibing Wang, Jinjia Peng외 4명|arXiv (Cornell University)|2020. 01. 12.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 9

한 줄 요약

이 논문은 차량 속성(attribute)을 이용해 주의(attention) 모듈을 통해 특징 선택을 유도하는 엔드 투 엔드 딥 러닝 프레임워크인 Attribute-Guided Network(AGNet)을 제안한다. 또한 일반화 성능 향상을 위해 속성 기반 레이블 스무딩(ALS) 손실 함수를 도입한다. AGNet는 속성 인식에 기반한 감독을 통해 분류 능력을 향상시켜 VeRi-776 및 VehicleID 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Vehicle re-identification (reID) plays an important role in the automatic analysis of the increasing urban surveillance videos, which has become a hot topic in recent years. However, it poses the critical but challenging problem that is caused by various viewpoints of vehicles, diversified illuminations and complicated environments. Till now, most existing vehicle reID approaches focus on learning metrics or ensemble to derive better representation, which are only take identity labels of vehicle into consideration. However, the attributes of vehicle that contain detailed descriptions are beneficial for training reID model. Hence, this paper proposes a novel Attribute-Guided Network (AGNet), which could learn global representation with the abundant attribute features in an end-to-end manner. Specially, an attribute-guided module is proposed in AGNet to generate the attribute mask which could inversely guide to select discriminative features for category classification. Besides that, in our proposed AGNet, an attribute-based label smoothing (ALS) loss is presented to better train the reID model, which can strength the distinct ability of vehicle reID model to regularize AGNet model according to the attributes. Comprehensive experimental results clearly demonstrate that our method achieves excellent performance on both VehicleID dataset and VeRi-776 dataset.

연구 동기 및 목표

• 다양한 시점, 조명 조건 및 복잡한 환경에서의 차량 재식별 문제를 고수준의 차량 속성 정보를 보조 신호로 활용하여 해결하고자 한다.
• 통합된 엔드 투 엔드 프레임워크 내에서 차량 속성과 신원 특징 간의 관계를 명시적으로 모델링하여 특징의 분류 능력을 향상시키고자 한다.
• 유사한 속성(예: 동일한 색상 또는 모델)을 고려한 새로운 손실 함수를 도입하여 트레이닝을 정규화함으로써 일반화 능력과 강건성을 향상시키고자 한다.
• 신원 정보에만 의존하는 것에서 벗어나 속성 정보를 통합하여 분류 가능한 국소적 특징의 선택을 유도함으로써 신뢰도를 높이고자 한다.

제안 방법

• AGNet는 이중 분기 병렬 아키텍처를 사용한다: 한 분기는 차량 속성을 예측하고, 다른 분기는 신원 분류를 수행하며, 잔차 블록을 통한 공유 특징 추출을 수행한다.
• 속성 분기 내 주의 모듈은 예측된 속성에 관련된 영역 특징에 집중할 수 있도록 속성 마스크를 생성한다.
• 속성 기반 주의 모듈은 중요한 속성에 해당하는 영역을 강조함으로써 신원 특징 맵을 동적으로 개선하여 분류 능력을 향상시킨다.
• 속성 기반 레이블 스무딩(Als) 손실 함수는 속성 유사성에 기반한 샘플별 가중치를 할당하여 과적합을 줄이고 일반화 능력을 향상시킨다.
• 신원 및 속성 분류를 위한 교차 엔트로피 손실과 정규화를 위한 ALS 손실을 조합하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• t-SNE를 이용한 특징 시각화 결과, 임bedding 공간 내에서 신원 및 속성 클러스터(예: 동일한 색상 또는 모델)가 잘 분리되어 있음을 확인할 수 있다.

실험 결과

연구 질문

• RQ1 특징 학습 과정에 차량 속성을 통합하면 재식별 모델의 분류 능력 향상에 기여할 수 있는가?
• RQ2 속성 정보는 신원 분류 분기에서 특징 선택을 효과적으로 유도할 수 있는가?
• RQ3 유사한 속성(예: 동일한 색상 또는 모델)을 고려한 손실 함수는 기존의 교차 엔트로피 손실보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ4 속성 예측 기반 주의 메커니즘은 모델이 관련 시각적 단서에 집중하는 능력을 향상시킬 수 있는가?

주요 결과

• VeRi-776 데이터셋에서 AGNet-ASL-All은 AGNet-ASL-ID보다 mAP가 3.71% 높게 기록되어 속성 감독의 상호보완적 가치를 입증한다.
• 제안된 ALS 손실 함수는 뚜렷한 성능 향상을 보였다: VeRi-776에서 베이스라인 'Only-ID' 대비 mAP 8.5% 향상되었고, VehicleID에서는 다양한 테스트 세트 크기에서 순위 1 성능이 3.94%에서 3.86%로 향상되었다.
• VeRi-776에서 AGNet-ASL-All은 AGNet-ASL-Attr보다 mAP가 22.64% 높게 기록되어 신원 기반 특징이 속성 기반 특징보다 더 높은 분류 능력을 지닌다는 것을 확인한다.
• 정성적 결과 분석을 통해 모델이 다양한 시점과 조명 변화 조건에서도 잘 일반화되며, 도전적인 조건에서도 높은 정확도로 검색 성능을 보임을 확인할 수 있었다.
• t-SNE 시각화 결과, 학습된 특징 공간 내에서 신원 및 속성 클러스터(예: 동일한 색상 또는 모델)가 명확하게 분리되어 있음을 확인할 수 있었다.