[논문 리뷰] CLIP-Driven Fine-grained Text-Image Person Re-identification

Shuanglin Yan, Neng Dong외 2명|arXiv (Cornell University)|2022. 10. 19.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 특징 임bedding 없이 내부 모odal의 세분화된 특징과 이중 모달 간의 대응 관계를 탐색하는 CLIP 기반의 텍스트-이미지 인물 재식별을 위한 CFine을 제안한다. 다중 해상도 전역 특징 학습, 교차 해상도 특징 정제, 세분화된 대응 관계 탐색을 통해 CFine는 원본 모odal 공간에서 CLIP의 다중 모달 지식을 직접 활용함으로써 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

TIReID aims to retrieve the image corresponding to the given text query from a pool of candidate images. Existing methods employ prior knowledge from single-modality pre-training to facilitate learning, but lack multi-modal correspondences. Besides, due to the substantial gap between modalities, existing methods embed the original modal features into the same latent space for cross-modal alignment. However, feature embedding may lead to intra-modal information distortion. Recently, CLIP has attracted extensive attention from researchers due to its powerful semantic concept learning capacity and rich multi-modal knowledge, which can help us solve the above problems. Accordingly, in the paper, we propose a CLIP-driven Fine-grained information excavation framework (CFine) to fully utilize the powerful knowledge of CLIP for TIReID. To transfer the multi-modal knowledge effectively, we perform fine-grained information excavation to mine intra-modal discriminative clues and inter-modal correspondences. Specifically, we first design a multi-grained global feature learning module to fully mine intra-modal discriminative local information, which can emphasize identity-related discriminative clues by enhancing the interactions between global image (text) and informative local patches (words). Secondly, cross-grained feature refinement (CFR) and fine-grained correspondence discovery (FCD) modules are proposed to establish the cross-grained and fine-grained interactions between modalities, which can filter out non-modality-shared image patches/words and mine cross-modal correspondences from coarse to fine. CFR and FCD are removed during inference to save computational costs. Note that the above process is performed in the original modality space without further feature embedding. Extensive experiments on multiple benchmarks demonstrate the superior performance of our method on TIReID.

연구 동기 및 목표

• 기존의 텍스트-이미지 ReID 방법이 특징 임bedding에 의존하여 내부 모달 정보 왜곡을 겪는 문제를 해결하기 위해.
• 이전 방법에서 사용하는 단일 모달 사전 학습 기반 모델이 다중 모달 대응 정보가 부족한 문제를 극복하기 위해.
• CLIP의 풍부한 다중 모달 지식을 활용하여 인물 재식별을 위한 세분화된 교차 모달 정렬을 향상시키기 위해.
• 특징 임bedding이 TIReID에 필요하지 않음을 입증하기 위해 원본 모달 공간에서 직접 운영하기 위해.
• CLIP 기반 모델의 미세조정 없이도 CLIP의 지식을 세분화된 검색 작업으로 효과적으로 전이할 수 있는 프레임워크를 개발하기 위해.

제안 방법

• 전역 이미지/텍스트와 국소적 분류 가능한 패치/단어 간의 상호작용을 향상시켜 다중 해상도 전역 특징를 추출하는 다중 해상도 전역 특징 학습(MGF) 모듈을 제안한다.
• 이중 모달 간의 굵은 해상도 상호작용(이미지-단어, 문장-패치)을 수립하고 공유되지 않는 국소 정보를 걸러내기 위해 교차 해상도 특징 정제(CFR)를 도입한다.
• 상위-K 선택을 통해 이미지 패치와 단어 간의 정밀한 세분화된 정렬을 학습하는 세분화된 대응 관계 탐색(FCD)을 설계한다.
• 공유 잠재 공간으로 특징를 투영하지 않고 원본 모달 공간에서 모든 연산을 수행하여 내부 모달 왜곡을 방지한다.
• CFR에서 유연한 유사도 집계 전략을 사용하여 소프트맥스로 생성된 가중치를 사용해 유사도의 가중합을 계산함으로써 중요한 단서를 강조한다.
• 추론 시 CFR 및 FCD 모듈을 제거하여 계산 비용을 줄이고, 효율성을 확보하기 위해 MGF와 CLIP 인코더만 유지한다.

실험 결과

연구 질문

• RQ1 특징 임bedding 없이 CLIP의 다중 모달 지식이 텍스트-이미지 인물 재식별에 효과적으로 전이될 수 있는가?
• RQ2 특징 임bedding이 없을 경우 내부 모달 정보 왜곡이 감소하고 세분화된 검색 성능이 향상되는가?
• RQ3 세분화된 내부 모달 및 이중 모달 대응 관계 탐색이 인스턴스 수준 표현을 초월한 교차 모달 정렬을 향상시킬 수 있는가?
• RQ4 정확한 이중 모달 대응 관계를 수립하기 위해 국소 패치와 단어를 선택하는 최적의 구성은 무엇인가?
• RQ5 특징 임bedding을 사용하는 기준 방법과 비교할 때 제안된 프레임워크는 강건성과 일반화 능력 측면에서 어떻게 다른가?

주요 결과

• CFine는 CUHK-PEDES, PRID-SDP, MSMT127의 세 가지 주요 TIReID 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• CUHK-PEDES에서 CFine는 랭크-1 정확도 69.57%를 기록하여 기준 + CLIP 방법보다 0.5% 높은 성능을 보였다.
• 제거 분석 결과, CFR에서 제안된 가중 유사도 집계 전략이 합, 평균, 최대값 집계 전략보다 성능을 0.5% 향상시켰다.
• 단어당 선택된 양성 패치의 최적 수는 Kp=3이며, 이보다 높거나 낮을 경우 노이즈 또는 과적합으로 인해 성능이 떨어진다.
• 정성적 결과는 CFine가 효과적으로 분류 가능한 국소적 특징(예: 가방, 신발, 기타 등)을 탐색함으로써 색상 정보 의존도를 줄임을 보여준다.
• 특히 복잡하거나 가림이 있는 상황에서 기준 + CLIP가 실패하는 경우에도 CFine는 정확한 신원을 성공적으로 검색한다.