[논문 리뷰] Exploring Part-Informed Visual-Language Learning for Person Re-Identification

Lin Yin, Yehansen Chen외 5명|arXiv (Cornell University)|2023. 08. 04.

Video Surveillance and Tracking Methods인용 수 7

한 줄 요약

이 논문은 사람 재식별을 위한 파트 정보 기반 시각-언어 학습 프레임워크인 $π$-VL을 제안한다. 이는 파싱 지도와 신원 인식 텍스트 프롬프트를 통한 계층적 시각 특징 융합을 통해 세분화된 특징 학습을 향상시킨다. 인간의 파싱 지도와 신원 레이블을 사용하여 픽셀 단위의 이미지-텍스트 정렬을 가능하게 함으로써, $π$-VL은 추가적인 보조 기능 없이도 최신 기술 수준의 성능을 달성한다. MSMT17에서 90.3% Rank-1 및 76.5% mAP의 성능을 기록한다.

ABSTRACT

Recently, visual-language learning (VLL) has shown great potential in enhancing visual-based person re-identification (ReID). Existing VLL-based ReID methods typically focus on image-text feature alignment at the whole-body level, while neglecting supervision on fine-grained part features, thus lacking constraints for local feature semantic consistency. To this end, we propose Part-Informed Visual-language Learning ($π$-VL) to enhance fine-grained visual features with part-informed language supervisions for ReID tasks. Specifically, $π$-VL introduces a human parsing-guided prompt tuning strategy and a hierarchical visual-language alignment paradigm to ensure within-part feature semantic consistency. The former combines both identity labels and human parsing maps to constitute pixel-level text prompts, and the latter fuses multi-scale visual features with a light-weight auxiliary head to perform fine-grained image-text alignment. As a plug-and-play and inference-free solution, our $π$-VL achieves performance comparable to or better than state-of-the-art methods on four commonly used ReID benchmarks. Notably, it reports 91.0% Rank-1 and 76.9% mAP on the challenging MSMT17 database, without bells and whistles.

연구 동기 및 목표

• 기존의 시각-언어 학습 기반 ReID 방법에서 전역 이미지-텍스트 정렬에 의존함으로써 발생하는 파트 내 의미 불일치 문제를 해결하기 위해.
• 인간의 파싱 지도와 신원 레이블을 텍스트 프롬프트 생성에 통합하여 세분화된 시각 특징 학습을 향상시키기 위해.
• 다단계 시각 특징을 향상시키기 위한 의미 일관성과 분류 능력을 향상시키기 위해 계층적 융합 기법을 개발하기 위해.
• 다양한 CNN 및 ViT 백본과 호환되는 손실 기반의 플러그 앤 플레이 솔루션을 개발하여 일반적인 ReID 응용에 적합하게 하기 위해.

제안 방법

• 세분화된 감독을 위해 픽셀 수준의 텍스트 프롬프트를 생성하기 위해 신원 레이블과 파싱 지도를 결합한 인간 파싱 지도 기반 프롬프트 튜닝 전략을 제안한다.
• 백본에서 유도된 다단계 시각 특징을 융합하기 위한 경량 보조 헤드를 설계하여 계층적 시각-언어 정렬을 가능하게 한다.
• 생성된 파트 정보 기반 프롬프트를 사용하여 픽셀 단위의 이미지-텍스트 정렬을 수행함으로써 국소적 특징의 의미와 일관성을 향상시킨다.
• 메인 ReID 백본이나 추론 파이프라인을 수정하지 않고도 플러그 앤 플레이 형식의 프론트엔드로 통합한다.
• 학습의 안정성과 레이블 노이즈 감소를 위해 오프라인으로 고품질의 파싱 지도를 사용한다.
• 이중 단계 학습 프로토콜을 적용한다: 첫 번째 단계는 CLIP의 텍스트 인코더를 사용한 프롬프트 튜닝, 두 번째 단계는 파트 정보 기반 의미를 경량 시각 모델에 전달하기 위한 지식 증류

실험 결과

연구 질문

• RQ1 전역 이미지-텍스트 정렬과 비교해 파트 정보 기반 시각-언어 학습이 사람 ReID에서 파트 내 특징 의미 일관성 향상에 기여하는가?
• RQ2 프롬프트 튜닝에 신원 레이블과 파싱 지도를 결합함으로써 세분화된 특징의 분류 능력은 어떻게 향상되는가?
• RQ3 계층적 시각 특징 융합이 ReID에서 시각-언어 학습의 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법은 ViT 및 CNN 기반 모델을 포함한 다양한 백본 아키텍처에 일반화 가능한가?
• RQ5 파싱 기반 프롬프트 사용이 자원이 제한된 환경에서 경량 모델로의 전이 가능성 향상에 기여하는가?

주요 결과

• 제안된 $π$-VL은 추가 구성 요소 없이 MSMT17에서 90.3% Rank-1 및 76.5% mAP를 기록하며 새로운 최고 성능을 달성한다.
• Market-1501에서 $π$-VL은 96.1% Rank-1 및 90.2% mAP를 기록하여 표준 CLIP 기반 백본에서도 뛰어난 성능을 보였다.
• Market-1501, DukeMTMC, CUHK03, MSMT17를 포함한 네 가지 주요 ReID 벤치마크에서 일관된 성능 향상을 보였다.
• 전이 실험 결과, $π$-VL의 파트 정보 기반 프롬프트는 전역 프롬프트 대비 MobileNetV2 기반 학생 모델의 성능을 +2.1% Rank-1 및 +1.6% mAP 향상시켰다.
• 시각화 결과는 $π$-VL이 높은 배경 혼잡 조건에서도 얼굴, 신발, 의류와 같은 신원 관련 신체 부위를 효과적으로 강조함을 확인했다.
• 특징 맵 수준의 정렬과 다운샘플링 덕분에, 파싱 지도의 품질 변화에 대해 성능이 안정적으로 유지되어 강인함을 입증했다.