[논문 리뷰] A Benchmark of Video-Based Clothes-Changing Person Re-Identification

Likai Wang, Xiang-Qun Zhang외 5명|arXiv (Cornell University)|2022. 11. 21.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 옷이 바뀌는 상황에서 영상 기반 신원 재식별을 위한 이중 브랜치 신뢰도 인지 재순서 프레임워크를 제안하며, 외관 및 걸음걸이 특징을 신뢰도 유도 가중치로 융합한다. 또한 합성 및 실세계 기반의 새로운 벤치마크 둘을 도입하여 CC 설정에서 39.8% mAP 및 54.8% R1를 기록하며 최신 기술을 압도적으로 뛰어넘는 성능을 보였다.

ABSTRACT

Person re-identification (Re-ID) is a classical computer vision task and has achieved great progress so far. Recently, long-term Re-ID with clothes-changing has attracted increasing attention. However, existing methods mainly focus on image-based setting, where richer temporal information is overlooked. In this paper, we focus on the relatively new yet practical problem of clothes-changing video-based person re-identification (CCVReID), which is less studied. We systematically study this problem by simultaneously considering the challenge of the clothes inconsistency issue and the temporal information contained in the video sequence for the person Re-ID problem. Based on this, we develop a two-branch confidence-aware re-ranking framework for handling the CCVReID problem. The proposed framework integrates two branches that consider both the classical appearance features and cloth-free gait features through a confidence-guided re-ranking strategy. This method provides the baseline method for further studies. Also, we build two new benchmark datasets for CCVReID problem, including a large-scale synthetic video dataset and a real-world one, both containing human sequences with various clothing changes. We will release the benchmark and code in this work to the public.

연구 동기 및 목표

• 시간이 지남에 따라 옷이 바뀌는 상황에서 아직 탐색이 부족한 영상 기반 신원 재식별 문제를 해결하기 위해.
• 시간적 영상 정보와 옷에 영향을 받지 않는 걸음걸이 특징을 활용하여 옷 변화에 대한 신뢰성 있는 재식별 성능을 향상시키기 위해.
• 합성 및 실세계 시퀀스를 포함한 대규모이고 다양한 특징을 가진 CCVReID 작업을 위한 새로운 벤치마크 데이터셋을 구축하기 위해.
• 외관 및 걸음걸이 특징을 신뢰도 인지 재순서를 통해 융합하는 통합 프레임워크를 개발하여 정확도를 향상시키기 위해.

제안 방법

• 사전 훈련된 Re-ID 및 걸음걸이 인식 모델을 사용하여 영상 시퀀스에서 외관 및 걸음걸이 특징을 별도로 추출하는 이중 브랜치 프레임워크를 제안한다.
• 학습된 신뢰도 점수에 기반해 외관 및 걸음걸이 브랜치의 유사도 점수를 동적으로 가중하는 신뢰도 인지 재순서 전략을 도입한다.
• 신뢰도 감독을 위해 의사 레이블을 설계하며, 진짜 순서를 오라클로 간주하여 신뢰도 추정을 훈련한다.
• 외관 및 걸음걸이 특징 표현과 각각의 신뢰도 점수를 함께 최적화하는 신뢰도 손실 함수를 사용한다.
• 최종 재순서를 위해 신뢰도 가중 유사도 점수를 조합하는 선형 레이어를 활용하며, 엔드 투 엔드 훈련을 가능하게 한다.
• 초기 외관 및 걸음걸이 순서 목록의 균형을 유지하기 위해 하이퍼파라미터 γ로 제어되는 후보 샘플링 전략을 적용한다.

실험 결과

연구 질문

• RQ1 시간적 영상 정보와 옷에 영향을 받지 않는 걸음걸이 특징을 어떻게 효과적으로 융합하여 옷 변화 상황에서의 재식별 성능을 향상시킬 수 있는가?
• RQ2 외관 및 걸음걸이 특징의 신뢰도가 쿼리에 따라 변할 때, 최적의 융합 전략은 무엇인가?
• RQ3 옷 변화가 존재하는 상황에서 신뢰도 인지 재순서 전략이 단순 융합 또는 고정 가중치 전략보다 어떻게 성능이 뛰어나게 되는가?
• RQ4 학습 데이터의 분포 및 다양성이 CCVReID에서 모델 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 신뢰도 인지 재순서 프레임워크는 옷이 바뀌는(CC) 설정에서 39.8% mAP 및 54.8% R1를 기록하며, 단일 모odal 기반 베이스라인보다 뚜렷한 성능 향상을 보였다.
• 학습된 신뢰도 점수를 가진 모델(표 5의 마지막 행)이 최고의 성능을 기록하여, 고정 또는 0 신뢰도 설정 대비 엔드 투 엔드 신뢰도 학습의 효과성을 입증하였다.
• 최적의 후보 수집 전략은 γ = 0.75를 사용할 때이며, 이는 신뢰도 높은 외관 기반 이웃과 걸음걸이 기반 후보를 균형 있게 유지하여 모든 설정에서 최고의 정확도를 달성하였다.
• 어느 한 브랜치에서라도 신뢰도 손실을 제거하면 성능 저하가 발생함을 확인하여, 신뢰도 감독이 강력한 특징 융합을 위해 필수적임을 입증하였다.
• 유사도 재가중을 위한 선형 레이어의 추가가 성능 향상에 기여함을 보이며, 직접 합산보다 학습된 융합 방식이 더 효과적임을 시사하였다.
• 합성 SCCVReID 데이터셋은 333명의 신원에서 9,620개의 시퀀스를 포함하며, 각 시퀀스는 2~37개의 옷 변화를 포함하여 CCVReID 연구를 위한 대규모이고 다양한 기준의 벤치마크를 제공한다.