[논문 리뷰] DeepChange: A Large Long-Term Person Re-Identification Benchmark with Clothes Change

Peng Xu, Xiatian Zhu|arXiv (Cornell University)|2021. 05. 31.

Video Surveillance and Tracking Methods인용 수 9

한 줄 요약

이 논문은 12개월에 걸친 자연스러운 옷 변화, 17대의 카메라, 1,121명의 신원, 178,407개의 바운딩 박스를 포함하는 최초의 대규모이고 현실적인 장기 인식 재식별 벤치마크인 DeepChange를 소개한다. 또한 RGB 및 회색조 이미지를 결합한 비전 트랜스포머를 포함한 다중모달 융합 기법이 기존 모델보다 뛰어난 성능을 보이며, 도전적인 옷 변화 문제에서 우수한 성능을 기록한다.

ABSTRACT

Existing person re-identification (re-id) works mostly consider short-term application scenarios without clothes change. In real-world, however, we often dress differently across space and time. To solve this contrast, a few recent attempts have been made on long-term re-id with clothes change. Currently, one of the most significant limitations in this field is the lack of a large realistic benchmark. In this work, we contribute a large, realistic long-term person re-identification benchmark, named as DeepChange. It has several unique characteristics: (1) Realistic and rich personal appearance (e.g., clothes and hair style) and variations: Highly diverse clothes change and styles, with varying reappearing gaps in time from minutes to seasons, different weather conditions (e.g., sunny, cloudy, windy, rainy, snowy, extremely cold) and events (e.g., working, leisure, daily activities). (2) Rich camera setups: Raw videos were recorded by 17 outdoor varying resolution cameras operating in a real-world surveillance system. (3) The currently largest number of (17) cameras, (1, 121) identities, and (178, 407) bounding boxes, over the longest time span (12 months). Further, we investigate multimodal fusion strategies for tackling the clothes change challenge. Extensive experiments show that our fusion models outperform a wide variety of state-of-the-art models on DeepChange. Our dataset and documents are available at https://github.com/PengBoXiangShang/deepchange.

연구 동기 및 목표

• 장기간 동안 자연스러운 옷 변화를 포함하는 대규모이고 현실적인 장기 인식 재식별 벤치마크의 부족을 해결하기 위해.
• 다양한 환경 조건, 신원의 외관 변화, 장시간의 시간 간격을 포함하는 실제 감시 기반 데이터셋을 구축하여 실제 생활의 재식별 과제를 더 잘 반영하기 위해.
• 제약 없는 옷 변화 조건에서 장기 인식 재식별 모델을 평가하고 발전시키기 위한 종합적인 벤치마크를 제공하기 위해.
• RGB, 회색조, 에지 맵을 융합하는 등의 효과적인 다중모달 융합 전략을 조사하여 옷 변화로 인한 외관 변화에 대한 강건성을 향상시키기 위해.
• CNN과 비전 트랜스포머를 모두 활용하여 새로운 도전적인 벤치마크에서 강력한 베이스라인과 최첨단 성능을 확립하기 위해.

제안 방법

• DeepChange 벤치마크는 12개월 동안 실거주 환경에 설치된 17대의 실외, 다양한 해상도의 감시 카메라에서 촬영한 원시 영상 자료를 사용하여 구축되었다.
• 모든 카메라와 시간 간격에 걸쳐 사람의 신원이 수작업으로 주석 처리되었으며, 옷, 머리카락, 날씨, 활동에 큰 변동이 있는 1,121명의 고유한 신원에 대해 총 178,407개의 바운딩 박스가 생성되었다.
• 이 데이터셋은 계절에 따른 옷 변화, 다양한 날씨 조건(맑음, 비, 눈, 바람, 추운 날씨), 그리고 다양한 일상 활동을 포함한 현실적이고 자연스러운 외관 변화를 캡처한다.
• RGB, 회색조, 에지 맵 입력의 후기 융합 전략을 평가하여 옷 변화에 대한 강건성을 향상시켰다.
• 표준 CNN(ResNet, DenseNet), 최첨단 재식별 모델(BNNeck, ReIDCaps), 비전 트랜스포머(ViT, DeiT)를 포함한 다양한 모델을 평가하였으며, 모odal 조합에 대한 분석도 수행하였다.
• 표준 평가 지표인 rank@1과 평균 평균 정확도(mAP)를 사용하여 성능을 측정하였으며, 특히 옷 변화로 인한 성능 격차를 분석하였다.

실험 결과

연구 질문

• RQ1 최첨단 인식 재식별 모델의 성능은 자연스러운 옷 변화가 포함된 대규모 장기 벤치마크에서 단기 벤치마크에 비해 얼마나 떨어지는가?
• RQ2 RGB, 회색조, 에지 맵 등의 다중모달 융합이 장기 재식별에서 제약 없는 옷 변화에 대한 모델의 강건성을 얼마나 향상시킬 수 있는가?
• RQ3 장기적이고 외관이 변화하는 조건에서 CNN과 비전 트랜스포머 중 어떤 딥 러닝 아키텍처가 더 우수한 성능을 보이는가?
• RQ4 장기 재식별에서 rank@1과 mAP 점수는 어떻게 비교되며, 이들의 상당한 성능 격차는 무엇을 설명하는가?
• RQ5 다양한 모델 아키텍처와 재식별 설정에서 여러 외관 모달리티를 동시에 사용하면 일관된 성능 향상이 이루어지는가?

주요 결과

• 비전 트랜스포머(ViT)는 DeepChange에서 모든 단일 모달 방법 중 가장 높은 mAP 점수를 기록하여 장기적 외관 변화를 모델링하는 데 뛰어난 능력을 보였다.
• RGB와 회색조 이미지의 다중모달 후기 융합은 단일 모달 입력보다 성능 향상을 이끌었으며, 특히 이 융합 입력에 대해 ViT를 사용할 경우 최고의 mAP 성능을 기록했다.
• mAP 점수는 rank@1에 비해 상당히 낮았다 (예: ResNet152의 경우 rank@1: 약 39.84%, mAP: 약 11.49%), 이는 옷 변화가 초래하는 심각한 과제를 보여준다.
• 깊이가 깊은 네트워크(예: ResNet152)는 얕은 네트워크(예: ResNet18)보다 우수한 성능을 보였으며, 재식별에 특화된 모델인 BNNeck과 ReIDCaps는 특히 깊은 아키텍처에서 강력한 성능을 보였다.
• RGB에 비해 정보량이 적고 ImageNet에서의 사전학습이 덜 되어 있어 회색조 이미지는 RGB보다 효과가 떨어졌지만, RGB와 융합할 경우 여전히 긍정적인 기여를 하였다.
• 제안된 다중모달 융합 전략은 표준 CNN과 최첨단 재식별 모델 양쪽 모두에서 성능 향상을 크게 이끌었으며, 강력한 상호보완 효과를 입증하였다.