[논문 리뷰] Image-Specific Information Suppression and Implicit Local Alignment for Text-based Person Search

Shuanglin Yan, Hao Tang외 2명|arXiv (Cornell University)|2022. 08. 30.

Video Surveillance and Tracking Methods인용 수 9

한 줄 요약

이 논문은 텍스트 기반 인물 검색을 위한 다중 수준 정렬 네트워크인 MANet을 제안한다. 이는 관계 유도 지역화 및 채널 주의 필터링 모듈을 통해 이미지 고유의 노이즈(배경 및 환경 요인)를 억제하고, 명시적인 국소 부분 생성이나 이중 모달 간 상호작용 없이 모달리티 공유 의미 주제 중심을 통해 미세한 이미지-텍스트 대응을 암묵적으로 학습한다. 이 방법은 추론 비용이 약간 증가할 뿐이지만 최신 기술 성능을 달성한다.

ABSTRACT

Text-based person search (TBPS) is a challenging task that aims to search pedestrian images with the same identity from an image gallery given a query text. In recent years, TBPS has made remarkable progress and state-of-the-art methods achieve superior performance by learning local fine-grained correspondence between images and texts. However, most existing methods rely on explicitly generated local parts to model fine-grained correspondence between modalities, which is unreliable due to the lack of contextual information or the potential introduction of noise. Moreover, existing methods seldom consider the information inequality problem between modalities caused by image-specific information. To address these limitations, we propose an efficient joint Multi-level Alignment Network (MANet) for TBPS, which can learn aligned image/text feature representations between modalities at multiple levels, and realize fast and effective person search. Specifically, we first design an image-specific information suppression module, which suppresses image background and environmental factors by relation-guided localization and channel attention filtration respectively. This module effectively alleviates the information inequality problem and realizes the alignment of information volume between images and texts. Secondly, we propose an implicit local alignment module to adaptively aggregate all pixel/word features of image/text to a set of modality-shared semantic topic centers and implicitly learn the local fine-grained correspondence between modalities without additional supervision and cross-modal interactions. And a global alignment is introduced as a supplement to the local perspective. The cooperation of global and local alignment modules enables better semantic alignment between modalities. Extensive experiments on multiple databases demonstrate the effectiveness and superiority of our MANet.

연구 동기 및 목표

• 이미지 고유의 배경 및 환경 요인으로 인한 정보 불균형을 완화함으로써 텍스트 기반 인물 검색의 모달 갭을 해소한다.
• 미세한 정렬에서 노이즈와 맥락적 교란에 취약한 명시적인 국소 부분 생성에 의존하는 것을 제거한다.
• 추가적인 감독이나 직접적인 이중 모달 간 상호작용 없이 암묵적으로 이미지와 텍스트 간의 국소 대응을 학습한다.
• 전반적이고 국소적인 정렬을 동시에 최적화하여 다양한 모달 간 의미 정렬을 향상시킨다.
• 높은 성능을 유지하면서도 낮은 계산 비용으로 작동하는 경량이고 효율적인 모델을 개발한다.

제안 방법

• 이미지 고유 정보 억제 모듈은 글로벌 컨텍스트를 활용하여 보행자 영역을 강조함으로써 배경 간섭을 줄이는 관계 유도 지역화를 사용한다.
• 개체 정규화와 채널 별 주의를 활용한 채널 주의 필터링을 통해 일조 및 날씨와 같은 환경 요인을 억제한다.
• 암묵적 국소 정렬(ILA) 모듈은 이미지 및 텍스트 특징을 가용한 학습 가능한 모달리티 공유 의미 주제 중심으로 적응적으로 집계하여 암묵적으로 국소 대응을 학습한다.
• 각 의미 주제 중심은 관련된 이미지 영역과 텍스트 단어에 동적으로 주의를 기울이며, 명시적 부분 매칭이나 직접적인 이중 모달 간 상호작용 없이 미세한 정렬을 형성한다.
• 전반적 정렬 모듈은 보완적인 거시적 이중 모달 측정을 제공하기 위해 도입된다.
• 전체 네트워크는 전역 및 국소 정렬 감독을 통합한 공동 손실 함수를 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 텍스트 기반 인물 검색에서 정보 불균형을 줄이기 위해 배경 및 환경 요인과 같은 이미지 고유의 정보를 효과적으로 억제할 수 있는가?
• RQ2 명시적으로 생성된 국소 부분이나 직접적인 이중 모달 간 상호작용에 의존하지 않고도 미세한 이미지-텍스트 대응을 암묵적으로 학습할 수 있는가?
• RQ3 암묵적 국소 정렬과 전반적 정렬을 결합했을 때 검색 성능에 어떤 영향을 미치는가?
• RQ4 기존 최신 기술 대비 이 방법은 TBPS에서 정확성과 효율성 측면에서 어떻게 비교되는가?
• RQ5 모달리티 공유 의미 주제 중심은 다양한 보행자 기술서에 걸쳐 강력하고 적응적인 특징 정렬을 얼마나 잘 가능하게 하는가?

주요 결과

• MANet는 CUHK-PEDES 데이터셋에서 랭크-1 정확도 63.92%를 달성하여 베이스라인 대비 6.12% 포인트 향상시켰다.
• 이미지 고유 정보 억제 모듈은 응답 맵 시각화를 통해 보행자 영역을 강조함으로써 배경 및 환경 노이즈를 줄여 성능 향상을 뚜렷이 보였다.
• 암묵적 국소 정렬 모듈은 성공적으로 미세한 대응을 학습하였으며, 각 의미 주제 중심이 의미적으로 관련된 이미지 영역과 텍스트 단어에 주의를 기울였다.
• 추론 시간은 15.422초(베이스라인 대비 13.722초)로 약간 증가하였지만, 추가 구성 요소가 있음에도 불구하고 높은 효율성을 보였다.
• 제거 실험 결과 양쪽 모듈이 성능 향상에 기여하며 필수적임을 확인하였다.
• 정성적 결과에서는 MANet가 베이스라인보다 더 정확한 결과를 추출하였으며, 베이스라인이 실패하는 경우에도 종종 상위 3위 이내에 정확한 사람을 식별하였다.