[논문 리뷰] Clothes-Changing Person Re-identification with RGB Modality Only

Xinqian Gu, Hong Chang외 4명|arXiv (Cornell University)|2022. 04. 14.

Video Surveillance and Tracking Methods인용 수 12

한 줄 요약

이 논문은 옷이 바뀌는 조건에서 RGB만을 사용하는 사람 재식별 성능을 향상시키기 위해 옷에 영향을 받지 않는 특징(예: 얼굴, 헤어스타일, 체형)을 학습하도록 유도하는 새로운 손실 함수인 옷 기반 적대적 손실(CAL)을 제안한다. 동일한 신원의 모든 옷 변형을 다중 양성 클래스로 간주함으로써 CAL은 특징의 분리도를 향상시키며, 다중 모odal 입력이나 복잡한 아키텍처 없이도 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The key to address clothes-changing person re-identification (re-id) is to extract clothes-irrelevant features, e.g., face, hairstyle, body shape, and gait. Most current works mainly focus on modeling body shape from multi-modality information (e.g., silhouettes and sketches), but do not make full use of the clothes-irrelevant information in the original RGB images. In this paper, we propose a Clothes-based Adversarial Loss (CAL) to mine clothes-irrelevant features from the original RGB images by penalizing the predictive power of re-id model w.r.t. clothes. Extensive experiments demonstrate that using RGB images only, CAL outperforms all state-of-the-art methods on widely-used clothes-changing person re-id benchmarks. Besides, compared with images, videos contain richer appearance and additional temporal information, which can be used to model proper spatiotemporal patterns to assist clothes-changing re-id. Since there is no publicly available clothes-changing video re-id dataset, we contribute a new dataset named CCVID and show that there exists much room for improvement in modeling spatiotemporal information. The code and new dataset are available at: https://github.com/guxinqian/Simple-CCReID.

연구 동기 및 목표

• 장기 감시 환경에서 사람의 옷이 바뀌는 상황에서의 사람 재식별 문제를 해결하기 위해.
• RGB 이미지에서 얼굴, 헤어스타일, 체형과 같은 옷에 영향을 받지 않는 특징를 명시적으로 탐색함으로써 RGB 이미지만으로도 특징 학습을 향상시키기 위해.
• 실루엣, 3D 형태 등의 다중 모달 입력 또는 복잡한 분리 모델에 의존하지 않도록 하기 위해.
• 향후 스피아토 temporal 모델링 연구를 지원하기 위해 새로운 영상 기반 벤치마크인 CCVID를 개발하기 위해.

제안 방법

• 동일 신원의 모든 옷 변형을 다중 양성 클래스 분류 설정에서 양성 클래스로 간주하는 옷 기반 적대적 손실(CAL)을 제안한다.
• 재식별 백본에 부착된 옷 분류 헤드를 도입하며, 이는 교차 엔트로피 손실을 통해 옷 카테고리를 예측하도록 훈련된다.
• 역전파를 통해 모델의 옷 예측 능력을 제약함으로써, 백본이 옷 변화에 불변하는 특징을 학습하도록 유도한다.
• 훈련 중에 이 손실을 적용하여 특징 맵을 개선함으로써, 옷 무늬보다 체형, 헤어스타일, 얼굴에 더 중점을 두도록 한다.
• 이미지 기반 벤치마크(LTCC, VC-Clothes, LaST, DeepChange)에서 방법을 검증하고, 스피아토 temporal 분석을 위한 새로운 영상 데이터셋 CCVID를 도입한다.
• DeepChange에서 수집 일자를 가짜 옷 레이블로 사용하여, 실제 옷 레이블이 없는 경우에도 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 다중 모달 입력에 의존하지 않고 RGB 이미지에서만 훈련된 손실 함수가 옷에 영향을 받지 않는 특징를 효과적으로 추출할 수 있는가?
• RQ2 CAL에서 사용된 다중 양성 클래스 분류가 신원 관련 특징를 옷 변화에서 효과적으로 분리하는 데 어떻게 기여하는가?
• RQ3 RGB만을 사용하는 모델이 옷이 바뀌는 재식별에서 다중 모달 또는 분리 기반 최신 기술 수준(SOTA) 메서드를 얼마나 능가할 수 있는가?
• RQ4 영상 데이터에 적용했을 때 제안된 방법의 효과는 어떠한가? 그리고 시간 정보는 성능 향상에 어떤 역할을 하는가?
• RQ5 수집 일자와 같은 메타데이터만을 사용해 가짜 레이블로 삼을 경우, 실제 옷 레이블이 없는 데이터셋으로도 이 방법이 일반화 가능한가?

주요 결과

• LTCC 벤치마크에서 CAL은 상의 동일 조건 설정에서 92.9%의 top-1 정확도와 87.2%의 mAP를 기록하며, 기준 모델 및 모든 SOTA 방법을 앞서며, 옷이 바뀌는 조건에서도 동일한 성능을 달성한다.
• VC-Clothes에서 CAL은 일반 설정에서 92.9% top-1, 87.2% mAP를 기록했고, 옷이 바뀌는(CC) 설정에서는 81.4% top-1, 81.7% mAP를 기록하며, 3DSL 및 FSAM과 같은 다중 모달 방법을 능가한다.
• LaST에서 CAL은 73.7% top-1 및 28.8% mAP를 기록했으며, 기준 모델(69.4% top-1, 25.6% mAP)과 BoT, mAPLoss와 같은 최신 기술 수준(SOTA) 방법을 초월한다.
• DeepChange에서 수집 일자를 가짜 옷 레이블로 사용했을 때, CAL은 54.0% top-1 및 19.0% mAP를 기록하며, 기준 모델(50.6% top-1, 15.9% mAP)을 크게 앞서며 성능 향상을 보였다.
• 수렴 분석 결과, CAL은 양성 옷 예측을 약 ~0.6–1.0, 가짜 양성 예측을 약 ~1e-4–0.1, 음성 예측을 약 ~1e-5–1e-2로 이동시키며, 예상된 최적화 행동이 올바르게 작동하고 있음을 확인했다.
• 최근 도입된 CCVID 데이터셋은 스피아토 temporal 패턴을 모델링하는 데 여전히 큰 개선 여지가 있음을 드러내며, 영상 기반 재식별 기술이 옷이 바뀌는 상황에서의 잠재력을 보여준다.