[논문 리뷰] See Finer, See More: Implicit Modality Alignment for Text-based Person Retrieval

Xiujun Shu, Wei Wen외 6명|arXiv (Cornell University)|2022. 08. 18.

Video Surveillance and Tracking Methods인용 수 9

한 줄 요약

이 논문은 텍스트 기반 인물 검색을 위한 암묵적 시각-언어적(IVT) 프레임워크를 제안한다. 이 프레임워크는 단일 공유 백본 네트워크를 사용해 시각적 및 언어적 표현을 동시에 학습하며, 명시적 부분 수준의 애너테이션 없이 암묵적인 모odal 간 정렬을 가능하게 한다. 다중 수준 정렬(MLA)과 이중 방향 마스크 모델링(BMM)을 도입함으로써, IVT는 CUHK-PEDES, RSTPReID, ICFG-PEDES에서 최신 기술 수준의 성능을 달성한다. 이는 미세한 및 잠재적인 교차 모달 정렬을 포착함으로써, 명시적 신체 부위 레이블이 없는 상태에서도 이전 방법들을 능가한다.

ABSTRACT

Text-based person retrieval aims to find the query person based on a textual description. The key is to learn a common latent space mapping between visual-textual modalities. To achieve this goal, existing works employ segmentation to obtain explicitly cross-modal alignments or utilize attention to explore salient alignments. These methods have two shortcomings: 1) Labeling cross-modal alignments are time-consuming. 2) Attention methods can explore salient cross-modal alignments but may ignore some subtle and valuable pairs. To relieve these issues, we introduce an Implicit Visual-Textual (IVT) framework for text-based person retrieval. Different from previous models, IVT utilizes a single network to learn representation for both modalities, which contributes to the visual-textual interaction. To explore the fine-grained alignment, we further propose two implicit semantic alignment paradigms: multi-level alignment (MLA) and bidirectional mask modeling (BMM). The MLA module explores finer matching at sentence, phrase, and word levels, while the BMM module aims to mine extbf{more} semantic alignments between visual and textual modalities. Extensive experiments are carried out to evaluate the proposed IVT on public datasets, i.e., CUHK-PEDES, RSTPReID, and ICFG-PEDES. Even without explicit body part alignment, our approach still achieves state-of-the-art performance. Code is available at: https://github.com/TencentYoutuResearch/PersonRetrieval-IVT.

연구 동기 및 목표

• 기존의 별도의 모델과 명시적 부분 수준 애너테이션에 의존하는 텍스트 기반 인물 검색 방법의 한계를 해결하기 위해.
• 추론 복잡도를 증가시키지 않으면서도, 시각적 및 언어적 모달 간의 깊은 상호작용을 가능하게 하여 교차 모달 정렬을 향상시키기 위해.
• 주의 기반 방법이 자주 간과하는 세부적인(예: 단어 수준) 및 미묘한(예: 헤어 스타일, 로고) 의미 정렬을 탐색하기 위해.
• 엔드 투 엔드 텍스트 기반 인물 검색에 적합한 통합적이고 효율적이며 효과적인 백본 아키텍처를 개발하기 위해.

제안 방법

• 시각적 및 언어적 모달에 대해 모두 기능을 추출할 수 있도록 단일 공유 Transformer 기반 네트워크를 사용하는 암묵적 시각-언어적(IVT) 프레임워크를 제안한다. 이를 통해 공유 파rameter를 통해 내재된 모달 간 상호작용을 가능하게 한다.
• 다중 수준 정렬(MLA)을 도입하여 문장, 어구, 단어 수준에서 교차 모달 매칭을 수행함으로써, 명시적 지도 없이도 세부적인 의미 정렬을 포착한다.
• 이중 방향 마스크 모델링(BMM)을 활용하여 시각적 및 언어적 토큰을 무작위로 마스킹함으로써, 손실된 의미적 단서를 복원하도록 모델을 훈련시켜 강력한 교차 모달 표현을 학습한다.
• 기능 공유를 위한 공통 모듈과 모달 전용 학습을 위한 특화 모듈을 단일 네트워크 내에 통합하여 정렬과 표현 능력 간 균형을 이룬다.
• 이전 방법에서 사용하는 교차 어텐션 메커니즘의 제곱형 추론 비용을 피하기 위해 아키텍처를 활용하여 높은 검색 속도를 유지한다.
• 부분 수준 대응에 대한 수동 애너테이션이 필요 없이도 정렬을 향상시키는 자기지도 학습 전략을 BMM을 통해 구현한다.

실험 결과

연구 질문

• RQ1 통합 백본 네트워크가 별도의 시각적 및 언어적 인코더를 대체할 수 있을까? 성능을 유지하거나 향상시킬 수 있을까?
• RQ2 비용이 많이 들는 신체 부위 수동 애너테이션에 의존하지 않고도 암묵적이고 자기지도 기반 메커니즘이 세부적인 교차 모달 정렬을 어떻게 향상시킬 수 있을까?
• RQ3 시각적 및 언어적 토큰의 이중 방향 마스킹이 주목할 만한 영역을 초월해 미묘한 의미 정렬을 발견하는 데 얼마나 기여할 수 있을까?
• RQ4 명시적 부분 수준 지도 없이도 모델이 정확하고 다양한 속성 수준의 정렬(예: 의류, 액세서리)을 학습할 수 있을까?
• RQ5 기존 방법과 비교해도 높은 추론 효율성을 유지하면서도 최신 기술 수준의 성능을 달성할 수 있을까?

주요 결과

• IVT 프레임워크는 명시적 부분 수준 애너테이션을 전혀 사용하지 않고도 세 가지 공개 벤치마크(CUHK-PEDES, RSTPReID, ICFG-PEDES)에서 최신 기술 수준의 성능을 달성한다.
• 기본 모델이 자주 간과하는 헤어 스타일이나 의류 로고와 같은 미묘한 속성을 성공적으로 포착함으로써, 주목할 만한 영역을 초월해 '더 많은 것을 보는' 능력을 입증한다.
• 시각화 결과는 모델이 정확한 단어 수준 정렬을 달성했음을 확인하며, 'shoes'나 'handbag'과 같은 설명을 해당 이미지 영역에 정확히 매핑함을 보여준다.
• IVT의 검색 시간은 ViLT와 같은 일반적인 이미지-텍스트 검색 모델보다 뚜렷이 빠르며, CUHK-PEDES에서 42초 대비 103,320초로 실용적인 실시간 배포에 적합하다.
• LSTM 기반 모델보다 파라미터가 더 많음에도 불구하고, IVT는 경쟁적인 추론 속도를 유지하며 NAFS와 같은 방법보다 속도와 정확도 양면에서 뛰어나다.
• 제거 실험 결과, MLA와 BMM 모두 성능 향상에 기여하며, 특히 BMM이 비주목 영역이지만 의미 있는 정렬을 발견하는 데 매우 효과적임을 확인했다.