[논문 리뷰] PLIP: Language-Image Pre-training for Person Representation Learning

Jialong Zuo, Hong, Jiahao외 6명|arXiv (Cornell University)|2023. 05. 15.

Video Surveillance and Tracking Methods인용 수 19

한 줄 요약

PLIP은 세 가지 교차 모달 프리텍스트 작업으로 학습된 대규모 합성 이미지-텍스트 데이터셋 SYNTH-PEDES에서 학습되는 사람 표현 학습을 위한 언어-이미지 사전학습 프레임워크를 도입하며, 텍스트 기반 Re-ID, 이미지 기반 Re-ID 및 속성 인식에서 강력한 소수 샷 및 도메인 일반화 능력으로 최첨단 성능을 달성한다.

ABSTRACT

Language-image pre-training is an effective technique for learning powerful representations in general domains. However, when directly turning to person representation learning, these general pre-training methods suffer from unsatisfactory performance. The reason is that they neglect critical person-related characteristics, i.e., fine-grained attributes and identities. To address this issue, we propose a novel language-image pre-training framework for person representation learning, termed PLIP. Specifically, we elaborately design three pretext tasks: 1) Text-guided Image Colorization, aims to establish the correspondence between the person-related image regions and the fine-grained color-part textual phrases. 2) Image-guided Attributes Prediction, aims to mine fine-grained attribute information of the person body in the image; and 3) Identity-based Vision-Language Contrast, aims to correlate the cross-modal representations at the identity level rather than the instance level. Moreover, to implement our pre-train framework, we construct a large-scale person dataset with image-text pairs named SYNTH-PEDES by automatically generating textual annotations. We pre-train PLIP on SYNTH-PEDES and evaluate our models by spanning downstream person-centric tasks. PLIP not only significantly improves existing methods on all these tasks, but also shows great ability in the zero-shot and domain generalization settings. The code, dataset and weights will be released at~\url{https://github.com/Zplusdragon/PLIP}

연구 동기 및 목표

• 시각 정보와 함께 언어 정보를 도입하여 구별 가능한 사람 표현 학습을 촉진한다.
• 미세한 이미지-텍스트 연관성을 구축하기 위한 세 가지 교차 모달 프리텍스트 작업을 제안한다(의미 기반 융합 이미지 채색, 시각적 융합 속성 예측, 시각-언어 매칭).
• 효과적인 사전학습을 위한 Stylish Pedestrian Attributes-union Captioning(SPAC)을 사용하여 대규모 이미지-텍스트 사람 데이터셋 SYNTH-PEDES를 생성한다.
• 소수 샷 및 도메인 일반화 시나리오를 포함하여 텍스트 기반 Re-ID, 이미지 기반 Re-ID 및 사람 속성 인식과 같은 다운스트림 작업에 대한 강력한 전달력을 시연한다.

제안 방법

• PLIP를 세 가지 프리텍스트 작업과 함께 도입한다: 의미 융합 이미지 채색(SIC), 시각 융합 속성 예측(VAP), 시각-언어 매칭(VLM).
• 다양한 속성-캡션 생성을 위해 SPAC를 통해 현재까지 가장 큰 실제 인물 이미지-텍스트 데이터셋인 SYNTH-PEDES를 구축한다.
• SIC: 텍스트 설명을 사용하여 흑백 인물 이미지를 색상으로 복원하기 위해 텍스트 글로벌 임베딩을 시각적 특징과 융합시키는 색상 복원 작업.
• VAP: 시각적 글로벌 및 마스킹된 텍스트 표현을 사용하여 캡션 속 속성 구문을 예측한다.
• VLM: 공통 공간에서 시각 및 언어 임베딩을 정렬하기 위해 교차 모달 프로젝션 매칭(CMPM)을 최소화한다.
• L_sic, L_vap, 및 L_vlm를 작업 가중치 하이퍼파라미터와 결합한 다중 작업 목표로 학습한다.

실험 결과

연구 질문

• RQ1 언어 신호가 순수 시각 사전학습을 넘어서 구별 가능한 사람 표현을 향상시킬 수 있는가?
• RQ2 교차 모달 프리텍스트 작업이 텍스트- 및 이미지 기반 Re-ID와 속성 인식 모두에 대해 더 강력한 교차 모달 정렬을 가능하게 하는가?
• RQ3 다양한 속성-캡션 쌍을 가진 대형 합성 이미지-텍스트 데이터세트가 사람 표현의 사전학습에 효과적인가?
• RQ4 PLIP가 도메인 간 일반화 및 소수 샷 설정에서 시각만 사용한 baselines나 다른 CLIP 스타일의 baselines와 비교하여 얼마나 잘 일반화하는가?
• RQ5 각 프리텍스트 작업이 교차 모달 일반화 및 다운스트림 성능에 기여하는 바는 무엇인가?

주요 결과

• PLIP는 통합된 비전-언어 공간을 학습함으로써 다수의 인물 이해 작업의 새로운 기준을 세운다.
• SYNTH-PEDES는 현재까지 가장 큰 이미지-텍스트 인물 데이터셋이다(312,321 신분, 4,791,711 이미지, 12,138,157 설명).
• 텍스트 기반 Re-ID에서 PLIP-강화 모델은 경쟁적 baselines 대비 주목할 만한 Rank-1 개선을 달성한다(제안 프레임워크를 사용할 때 CUHK-PEDES와 ICFG-PEDES에서 각각 3.98%와 5.23%의 이득).
• 도메인 일반화에서 PLIP는 교차 도메인 설정에서 이전 방법(LGUR 등)을 크게 앞지른다( Rank-1 이득 19.4% 및 30.54%).
• PLIP는 텍스트 기반과 이미지 기반 Re-ID 시나리오에서 강한 소수 샷 성능을 보여주며, 데이터가 적은 구간에서 ImageNet 사전학습 baselines를 능가하고 데이터셋 전반에서 경쟁력 있는 결과를 제공한다.
• 변형 실험은 세 가지 프리텍스트 작업 모두가 성능에 기여하며, 결합 사용이 제로샷 검색 결과를 가장 잘 이끈다는 것을 보여준다.