[논문 리뷰] Attribute-aware Identity-hard Triplet Loss for Video-based Person Re-identification

Zhiyuan Chen, Annan Li외 2명|arXiv (Cornell University)|2020. 06. 13.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 8

한 줄 요약

이 논문은 영상 기반 인물 재식별에서 다양한 양성 샘플 간의 거리 변동성(DVDP) 문제를 해결하기 위해 속성 인식 기반의 아이덴티티-하드 트리플릿 손실(AITL)과 속성 주도의 시공간 주의 메커니즘(_ASTA_)을 제안한다. 속성 인식 기반의 거리 학습과 통합된 아이덴티티-속성 모델링을 통해 내부 클래스 변동성을 감소시키고 성능을 향상시켜, 경량 기반 모델이 MARS 및 DukeMTMC-VID 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Video-based person re-identification (Re-ID) is an important computer vision task. The batch-hard triplet loss frequently used in video-based person Re-ID suffers from the Distance Variance among Different Positives (DVDP) problem. In this paper, we address this issue by introducing a new metric learning method called Attribute-aware Identity-hard Triplet Loss (AITL), which reduces the intra-class variation among positive samples via calculating attribute distance. To achieve a complete model of video-based person Re-ID, a multi-task framework with Attribute-driven Spatio-Temporal Attention (ASTA) mechanism is also proposed. Extensive experiments on MARS and DukeMTMC-VID datasets shows that both the AITL and ASTA are very effective. Enhanced by them, even a simple light-weighted video-based person Re-ID baseline can outperform existing state-of-the-art approaches. The codes has been published on https://github.com/yuange250/Video-based-person-ReID-with-Attribute-information.

연구 동기 및 목표

• 배치-하드 트리플릿 손실에서 발생하는 자세 및 외관 변화에 민감한 문제인 다양한 양성 샘플 간의 거리 변동성(DVDP) 문제를 해결하기 위해.
• 속성 인식에서 유도된 시공간 주의를 통해 영상 기반 Re-ID에서 속성 정보를 효과적으로 통합하기 위해.
• 아이덴티티 식별, 속성 예측, 거리 학습을 동시에 최적화하는 통합된 다중 작업 프레임워크를 개발하기 위해.
• 복잡한 백본 아키텍처가 필요 없이도 속성 주도의 주의 메커니즘과 AITL이 재식별 정확도를 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 동일한 아이덴티티의 양성 샘플들 간의 속성 거리 기반으로 트리플릿을 구성함으로써 내부 클래스 변동성을 줄이는 속성 인식 기반의 아이덴티티-하드 트리플릿 손실(AITL)을 제안한다.
• DVDP 감소를 위해 아이덴티티 분류, 속성 예측, 임베딩을 동시에 학습하는 3개의 스트림으로 구성된 다중 작업 네트워크를 설계한다.
• 속성 인식 출력에서 유도된 주의 맵을 생성하여 특징 추출을 안내하는 속성 주도의 시공간 주의(_ASTA_) 메커니즘을 도입한다.
• 아이덴티티, 속성, AITL 목표를 통합한 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 프레임 수준의 속성 인식을 활용해 공간적 및 시간적 주의를 생성함으로써, 가림 및 배경 혼잡에 대한 강건성을 향상시킨다.
• ASTA 모듈을 적용하여 속성에 기반한 구분력 있는 영역과 시간 세그먼트에 집중함으로써 특징 표현을 개선한다.

실험 결과

연구 질문

• RQ1 속성 인식 기반의 거리 학습은 영상 Re-ID에서 다양한 양성 샘플 간의 거리 변동성(DVDP)을 줄일 수 있는가?
• RQ2 속성 정보는 영상 Re-ID에서 시공간 주의를 효과적으로 이끌 수 있는가?
• RQ3 AITL 및 ASTA로 강화된 경량 Re-ID 모델이 최신 기술 성능을 달성할 수 있는가?
• RQ4 속성 주도의 주의 통합이 교차 데이터셋 평가에서 도메인 간 일반화 능력을 향상시키는가?

주요 결과

• 제안된 AITL 및 ASTA 프레임워크는 기존 방법을 크게 능가하며, 경량 기반 모델이 MARS에서 84.4% mAP와 88.2% R1을 달성하여 최신 기술을 초월한다.
• DukeMTMC-VID에서 95.3% mAP와 95.4% R1를 기록하여, 아이덴티티당 양성 샘플 수가 제한된 상황에서도 뛰어난 성능을 보였다.
• 교차 데이터셋 평가에서도 강건한 성능 유지를 보였으며, MARS에서 훈련하고 DukeMTMC-VID에서 테스트했을 때 51.3% mAP와 53.0% R1를 기록하여 도메인 이동에 대한 저항력을 입증했다.
• 계산량-성능 트레이드오프 분석 결과, 정확도와 효율성의 최적 균형을 달성했으며, 다른 주의 기반 방법보다 두 성능 지표에서 모두 뛰어난 성능을 보였다.
• 제거 실험 결과, AITL과 ASTA 모두 성능 향상에 기여하며, 특히 AITL이 내부 클래스 변동성을 줄이는 데 뛰어난 효과를 보였다.
• 통합 학습 덕분에 속성 인식 정확도가 향상되었고, 공간-시간 주의 메커니즘이 가림 및 저품질 프레임 문제를 완화하는 데 기여했다.