[논문 리뷰] TIPCB: A Simple but Effective Part-based Convolutional Baseline for Text-based Person Search

Yuhao Chen, Guoqing Zhang외 4명|arXiv (Cornell University)|2021. 05. 25.

Video Surveillance and Tracking Methods인용 수 7

한 줄 요약

TIPCB는 텍스트 기반 인물 검색을 위한 단순하면서도 효과적인 엔드 투 엔드 파트 기반 컨볼루션 베이스라인을 제안한다. 이는 이중 경로 국소 정렬을 사용해 적응형 시각적 및 텍스처 국소 특징을 추출하고, 저수준, 국소수준, 전반수준 특징 간의 모odal 갭을 줄이기 위해 다단계 교차모달 매칭 전략을 적용한다. 이는 CUHK-PEDES에서 최신 기술을 초월하여 Top-1, Top-5, Top-10 정확도에서 각각 3.69%, 2.95%, 2.31% 향상된 성능을 기록한다.

ABSTRACT

Text-based person search is a sub-task in the field of image retrieval, which aims to retrieve target person images according to a given textual description. The significant feature gap between two modalities makes this task very challenging. Many existing methods attempt to utilize local alignment to address this problem in the fine-grained level. However, most relevant methods introduce additional models or complicated training and evaluation strategies, which are hard to use in realistic scenarios. In order to facilitate the practical application, we propose a simple but effective end-to-end learning framework for text-based person search named TIPCB (i.e., Text-Image Part-based Convolutional Baseline). Firstly, a novel dual-path local alignment network structure is proposed to extract visual and textual local representations, in which images are segmented horizontally and texts are aligned adaptively. Then, we propose a multi-stage cross-modal matching strategy, which eliminates the modality gap from three feature levels, including low level, local level and global level. Extensive experiments are conducted on the widely-used benchmark dataset (CUHK-PEDES) and verify that our method outperforms the state-of-the-art methods by 3.69%, 2.95% and 2.31% in terms of Top-1, Top-5 and Top-10. Our code has been released in https://github.com/OrangeYHChen/TIPCB.

연구 동기 및 목표

• 텍스트 기반 인물 검색에서 이미지와 텍스트 간의 심각한 모달 갭을 해결하기 위해.
• 추가 모델이나 복잡한 학습 전략 없이 실용적이고 엔드 투 엔드로 학습 가능한 프레임워크를 설계하기 위해.
• 양 모odal에서의 국소적이고 파트 기반 표현을 활용하여 매칭 성능을 향상시키기 위해.
• 저수준, 국소수준, 전반수준에서의 다단계 매칭을 통해 교차모달 특징 분산을 점진적으로 감소시키기 위해.
• 아키텍처와 학습 파이프라인의 단순화를 통해 실세계 적용을 촉진하기 위해.

제안 방법

• 이중 경로 국소 정렬 네트워크를 설계: 이미지는 수평 스트립으로 분할되어 시각적 국소 표현을 생성하고, 고정된 BERT 모델에서 생성된 텍스트 임베딩은 다중브랜치 리스크 네트워크를 통해 적응형 텍스트 정렬을 처리한다.
• 각 텍스트 브랜치는 해당하는 시각적 부분과 매칭되도록 훈련되어 국소 수준에서 교차모달 정렬을 가능하게 한다.
• 저수준, 국소수준, 전반수준 표현에서 특징을 정렬하는 다단계 교차모달 매칭 전략을 통해 모달 갭을 점진적으로 감소시킨다.
• 특징 융합을 위해 글로벌 맥스 풀링을 사용하여 분류에 유의미한 특징을 강조하고 노이즈를 억제한다.
• 보조 작업이나 추가 모델 없이 전체 프레임워크를 엔드 투 엔드로 학습한다.
• t-SNE 시각화 결과, 학습 중 교차모달 특징 분포가 수렴함을 확인하여 효과적인 모달 정렬이 이루어졌음을 입증한다.

실험 결과

연구 질문

• RQ1 복잡한 다중모델 또는 다중작업 방법보다 단순하고 엔드 투 엔드로 학습 가능한 네트워크가 텍스트 기반 인물 검색에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 시각적 파트와 텍스트 어휘 간의 적응형 국소 정렬이 모달 갭을 줄이는 데 얼마나 효과적인가?
• RQ3 저수준, 국소수준, 전반수준 특징에서의 다단계 매칭이 검색 정확도를 향상시키는가?
• RQ4 평균 풀링 또는 그 조합 대비 글로벌 맥스 풀링이 특징의 분류 능력을 향상시키는가?
• RQ5 부분적 또는 애매한 기술이 포함된 어려운 음성 예제에서 모델의 성능은 어떠한가?

주요 결과

• TIPCB는 CUHK-PEDES에서 63.63%의 Top-1 정확도를 기록하여 최신 기술보다 3.69% 포인트 높은 성능을 보였다.
• 모델은 Top-5 정확도 82.81%와 Top-10 정확도 89.01%를 달성하여 각각 이전 방법보다 2.95%와 2.31% 높은 성능을 기록했다.
• 글로벌 맥스 풀링은 평균 풀링 또는 그 조합보다 유의미하게 높은 성능을 보였으며, 노이즈를 걸러내고 분류에 유의미한 특징을 유지하는 데 효과적임을 시사한다.
• t-SNE 시각화 결과, 교차모달 특징 분포가 학습 중 수렴함을 확인했으며, 동일한 신원의 샘플들이 함께 군집함을 보였다.
• 부분적 또는 미묘한 기술이 포함된 어려운 케이스, 예를 들어 '검은 반바지', '어두운 배낭', '자전거에 앉아 있는' 등의 경우에도 정확한 매칭을 성공적으로 수행했다.
• 실패 사례는 주로 애매하거나 희귀한 기술(예: '70년대 스타일', '흰 줄무늬')로 인해 발생하여 미세한 의미 이해의 과제를 드러냈다.