[논문 리뷰] Large-Scale Spatio-Temporal Person Re-identification: Algorithm and Benchmark

Xiujun Shu, Xiao Wang외 5명|arXiv (Cornell University)|2021. 05. 31.

Video Surveillance and Tracking Methods참고 문헌 53인용 수 5

한 줄 요약

이 논문은 다양한 도시, 시간대, 계절을 포함하는 10,862명의 신원과 228,000장 이상의 이미지를 포함한 대규모 시공간(person re-identification) 데이터셋인 LaST를 소개한다. 이는 실제 환경에서의 재식별에 도전적인 벤치마크를 제공하며, 14개의 알고리즘을 평가하고 기존 데이터셋에 잘 일반화되는 강력한 베이스라인을 제안하여 실용적인 재식별 시스템의 발전에 기여한다.

ABSTRACT

Person re-identification (re-ID) in the scenario with large spatial and temporal spans has not been fully explored. This is partially because that, existing benchmark datasets were mainly collected with limited spatial and temporal ranges, e.g., using videos recorded in a few days by cameras in a specific region of the campus. Such limited spatial and temporal ranges make it hard to simulate the difficulties of person re-ID in real scenarios. In this work, we contribute a novel Large-scale Spatio-Temporal LaST person re-ID dataset, including 10,862 identities with more than 228k images. Compared with existing datasets, LaST presents more challenging and high-diversity re-ID settings, and significantly larger spatial and temporal ranges. For instance, each person can appear in different cities or countries, and in various time slots from daytime to night, and in different seasons from spring to winter. To our best knowledge, LaST is a novel person re-ID dataset with the largest spatio-temporal ranges. Based on LaST, we verified its challenge by conducting a comprehensive performance evaluation of 14 re-ID algorithms. We further propose an easy-to-implement baseline that works well on such challenging re-ID setting. We also verified that models pre-trained on LaST can generalize well on existing datasets with short-term and cloth-changing scenarios. We expect LaST to inspire future works toward more realistic and challenging re-ID tasks. More information about the dataset is available at this https URL.

연구 동기 및 목표

• 광범위한 공간적 및 시간적 다양성을 갖춘 대규모 실용적 인물 재식별 데이터셋의 부족을 보완하기 위해.
• 장기적인 외형 변화, 도시 간 추적, 계절 변화와 같은 실제 환경의 과제를 시뮬레이션하기 위해.
• 극한의 시공간 조건에서 재식별 모델의 평가가 가능한 벤치마크를 제공하기 위해.
• 대규모이고 다양한 재식별 시나리오에서 효과적인 실용적인 베이스라인 모델을 개발하고 검증하기 위해.
• LaST에서 사전 훈련된 모델이 기존의 단기적 또는 옷이 바뀌는 재식별 벤치마크로 잘 일반화되는지 확인하기 위해.

제안 방법

• 다양한 도시와 장기간에 걸친 이미지 수집을 통해 LaST 데이터셋을 구축한 것으로, 일몰/일출 및 계절 변화를 포함한다.
• 10,862명의 신원과 228,000장 이상의 이미지를 포함하여 외형, 위치, 시간에 걸쳐 높은 다양성을 확보한다.
• LaST 벤치마크에서 극한의 시공간 조건에서 성능을 평가하기 위해 14개의 최신 재식별 알고리즘을 평가한다.
• 어려운 LaST 환경에서 잘 작동하는 단순하지만 효과적인 베이스라인 모델을 설계한다.
• LaST에서 모델을 훈련하고 미세조정하여 존재하는 단기적 및 옷이 바뀌는 벤치마크에서의 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 교차 도시 및 다중 계절 추적과 같은 극한의 공간적 및 시간적 변동에서 인물 재식별 성능가 어떻게 저하되는가?
• RQ2 LaST에서 사전 훈련된 단일 모델이 단기적 또는 옷이 바뀌는 시나리오를 포함한 기존 재식별 벤치마크로 효과적으로 일반화될 수 있는가?
• RQ3 기존 데이터셋이 포착하지 못하는 대규모 시공간 인물 재식별의 핵심 과제는 무엇인가?
• RQ4 예상치 못한 시공간 다양성을 갖춘 데이터셋에서 기존 재식별 알고리즘이 어떻게 성능을 발휘하는가?
• RQ5 단순한 베이스라인 모델의 LaST 벤치마크에서의 성능는 어떠하며, 향후 연구의 견고한 기초가 될 수 있는가?

주요 결과

• LaST 데이터셋은 공간적 및 시간적 커버리지 면에서 기존의 벤치마크를 크게 초월하며, 신원들이 여러 도시, 시간대, 계절에 걸쳐 등장한다.
• 평가된 14개의 재식별 알고리즘 전반의 성능이 표준 벤치마크 대비 뚜렷하게 저하되었으며, 이는 LaST의 높은 도전 수준을 시사한다.
• 제안된 베이스라인 모델은 LaST에서 뛰어난 성능을 기록하여 대규모 시공간 변동을 효과적으로 다룰 수 있음을 입증한다.
• LaST에서 사전 훈련된 모델은 특히 옷이 바뀌는 경우와 단기 재식별 시나리오에서 일반화 능력이 향상됨을 보였다.
• 결과적으로 LaST는 실용적인 인물 재식별 시스템의 평가 및 발전에 적합한 벤치마크임을 확인한다.