[논문 리뷰] SiCL: Silhouette-Driven Contrastive Learning for Unsupervised Person Re-Identification with Clothes Change

Mingkun Li, Peng Xu외 2명|arXiv (Cornell University)|2023. 05. 23.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 옷 변화 상황에서 장기적인 인물 재식별을 위한 새로운 비지도 대비 학습 프레임워크인 MaskCL을 제안한다. 사람 실루엣 마스크를 의미적 프롬프트로 사용하여 옷 변화에 강인한 특징을 학습한다. RGB 및 마스크 특징에서 계층적인 의미적 이웃 구조를 구성함으로써, MaskCL은 비지도 기반 기준보다 뚜렷하게 뛰어나며 다섯 가지 벤치마크에서 지도 학습 SOTA 성능에 가까워진다.

ABSTRACT

In this paper, we address a highly challenging yet critical task: unsupervised long-term person re-identification with clothes change. Existing unsupervised person re-id methods are mainly designed for short-term scenarios and usually rely on RGB cues so that fail to perceive feature patterns that are independent of the clothes. To crack this bottleneck, we propose a silhouette-driven contrastive learning (SiCL) method, which is designed to learn cross-clothes invariance by integrating both the RGB cues and the silhouette information within a contrastive learning framework. To our knowledge, this is the first tailor-made framework for unsupervised long-term clothes change eid{}, with superior performance on six benchmark datasets. We conduct extensive experiments to evaluate our proposed SiCL compared to the state-of-the-art unsupervised person reid methods across all the representative datasets. Experimental results demonstrate that our proposed SiCL significantly outperforms other unsupervised re-id methods.

연구 동기 및 목표

• 옷 변화 상황에서 장기적인 비지도 인물 재식별 방법의 부족을 해결하기 위해, 현실적이지만 아직 탐색되지 않은 설정을 다룬다.
• 기존 비지도 방법이 RGB 특징에만 의존하고 옷 색상 기반 클러스터링을 통해 오류 전파를 일으키는 데 실패하는 문제를 해결한다.
• 실루엣 마스크를 의미적 프롬프트로 통합하여 옷에 의존하지 않는, 옷 변화에 강인한 특징을 대비 학습을 통해 학습한다.
• 다섯 개의 데이터셋에서 광범위한 평가를 통해 비지도 장기 인물 재식별에 대한 벤치마크를 구축한다.

제안 방법

• MaskCL는 RGB 및 실루엣 마스크 특징을 추출하기 위해 이중 브랜치 네트워크를 사용하여 외관과 의미적 구조를 함께 학습한다.
• 실루엣 마스크는 대비 학습을 안내하는 의미적 프롬프트로 사용되어 옷 변화에 대한 강인성을 증진시킨다.
• 계층적인 의미적 이웃 구조를 구성한다: RGB 특징을 통한 인스턴스 수준의 클러스터링과 RGB 및 마스크 특징을 조합한 클러스터 수준의 이웃 탐색.
• 같은 신원의 양성 쌍이 특징 공간에서 가까워지도록 유도하는 대비 손실을 사용하여 학습하며, 마스크 특징에서 유도된 의미적 이웃이 학습을 안내한다.
• 의미적 이웃 세트 기반의 이웃 샘플링 전략을 사용하여 다양한 옷 차림에 걸쳐 특징 정렬을 향상시킨다.
• RGB와 마스크 기반 의미적 신호를 모두 활용하여 옷 변화로 인한 특징 차이를 최소화하는 대비 목표를 통해 종합적으로 엔드 투 엔드로 학습한다.

Figure 1: Illustration of hierarchical semantic clustering. At a lower level, clustering is used to disclose the instance neighbor structure; at a higher level, semantic features and RGB data are combined to expose the cluster neighbor structure.

실험 결과

연구 질문

• RQ1 비지도 인물 재식별 모델은 옷 변화가 심한 장기 시나리오에 일반화될 수 있는가?
• RQ2 실루엣 마스크는 대비 학습을 안내하고 옷 변화에 강인한 특징을 향상시키는 효과적인 의미적 프롬프트로 기능할 수 있는가?
• RQ3 RGB와 마스크 특징을 조합한 계층적 의미적 이웃 구조는 RGB 전용 클러스터링보다 더 나은 특징 학습을 이끌 수 있는가?
• RQ4 추출된 실루엣 마스크의 품질이 저품질 및 고품질 데이터셋에서 모델 성능에 미치는 영향은 어떠한가?
• RQ5 비지도 방법이 실제 세계의 제약 있는 옷 변화 벤치마크에서 지도 학습 SOTA 수준에 근접한 성능을 달성할 수 있는가?

주요 결과

• MaskCL은 VC-Clothes에서 61.7% mAP와 71.7% R-1을 기록하여, 다음으로 우수한 비지도 방법보다 mAP에서 2% 이상 뛰어나다.
• 도전적인 Deepchange 벤치마크에서 MaskCL은 ResNet-50를 사용해 11.8% mAP와 39.7% R-1을 달성했으며, 비지도 SOTA인 SpCL(8.90% mAP)를 초월했다.
• Deepchange에서 ViT-B16를 사용할 경우, 지도 학습 SOTA와 동일한 14.9% mAP 성능을 기록하여 성능 격차를 좁혔다.
• VC-Clothes에서 RGB 없이 마스크 특징만 사용했을 경우 최고 성능(63.4% mAP)을 기록하여 고품질 마스크가 풍부한 강인한 정보를 포함하고 있음을 시사한다.
• 시각화 결과 MaskCL은 CACL보다 더 정확한 매칭을 생성하며, 색상 유사성으로 인한 잘못된 매칭이 적다.
• 학습 과정 중 의미적 이웃 세트에 포함된 정확한 신원 샘플의 비율이 증가하여, 향상된 특징 정렬과 클러스터 일관성이 확인된다.

Figure 2: Visualizing the intrinsic challenges in long-term person re-id with clothes change. We randomly selected $28$ images of a single individual from the Deepchange [ 48 ] dataset. It is clear that the differences in appearance across different clothes (rows) are much more significant than that