[논문 리뷰] Learning Granularity-Unified Representations for Text-to-Image Person Re-identification

Zhiyin Shao, Xinyu Zhang외 4명|arXiv (Cornell University)|2022. 07. 16.

Video Surveillance and Tracking Methods인용 수 9

한 줄 요약

이 논문은 텍스트-이미지 인물 재식별에서 세분화된 시각적 특징과 둔한 텍스트적 특징을 통합하는 데 초점을 맞춘 트랜스포머 기반 프레임워크인 LGUR을 제안한다. 다중 모odal 공유 사전(MSD)을 도입하여 다중 모odal 특징 복원을 수행하고, 다중 모달리티 가이던스와 배경 중심 최적화를 통해 특징 통합을 달성하며, 공유 프로토타입을 통해 통합된 특징 추출을 실현하여 CUHK-PEDES와 ICFG-PEDES에서 각각 6.58%와 6.93%의 랭크-1 정확도 향상을 이룩하며 최신 기술 수준을 초월한다.

ABSTRACT

Text-to-image person re-identification (ReID) aims to search for pedestrian images of an interested identity via textual descriptions. It is challenging due to both rich intra-modal variations and significant inter-modal gaps. Existing works usually ignore the difference in feature granularity between the two modalities, i.e., the visual features are usually fine-grained while textual features are coarse, which is mainly responsible for the large inter-modal gaps. In this paper, we propose an end-to-end framework based on transformers to learn granularity-unified representations for both modalities, denoted as LGUR. LGUR framework contains two modules: a Dictionary-based Granularity Alignment (DGA) module and a Prototype-based Granularity Unification (PGU) module. In DGA, in order to align the granularities of two modalities, we introduce a Multi-modality Shared Dictionary (MSD) to reconstruct both visual and textual features. Besides, DGA has two important factors, i.e., the cross-modality guidance and the foreground-centric reconstruction, to facilitate the optimization of MSD. In PGU, we adopt a set of shared and learnable prototypes as the queries to extract diverse and semantically aligned features for both modalities in the granularity-unified feature space, which further promotes the ReID performance. Comprehensive experiments show that our LGUR consistently outperforms state-of-the-arts by large margins on both CUHK-PEDES and ICFG-PEDES datasets. Code will be released at https://github.com/ZhiyinShao-H/LGUR.

연구 동기 및 목표

• 이미지에서의 세분화된 특징와 텍스트에서의 둔한 특징 간의 상당한 모달 갭을 해결하기 위해, 서로 다른 특징 세분화 수준이 초래하는 문제를 해결한다.
• 공유 가능하고 학습 가능한 사전과 프로토타입 기반 메커니즘을 통해 시각적 특징와 텍스트적 특징의 세분화 수준을 명시적으로 통합한다.
• 텍스트적 특징를 활용한 사전 학습 가이던스와 보행자 영역 중심 최적화를 통해 다중 모달 간 정렬을 향상시킨다.
• 기준 데이터셋에서 검색 성능을 향상시키기 위해 통합된 표현을 종단 간(end-to-end)으로 학습한다.

제안 방법

• 프레임워크는 트랜스포머 레이어를 통해 다중 모달 공유 사전(MSD)을 사용하여 시각적 특징과 텍스트적 특징를 모두 재구성하는 사전 기반 세분화 수준 정렬(DGA) 모듈을 활용한다.
• 일치하는 텍스트 특징를 동일한 트랜스포머 레이어 내에서 값(value)으로 사용하여 시각적 특징를 재구성함으로써 다중 모달리티 가이던스를 적용함으로써 MSD가 텍스트 기술의 세분화 수준에 맞춰 정렬된다.
• 학습된 배경 제거 마스크를 적용하여 배경 노이즈를 억제하는 보행자 중심 재구성 전략을 통해 최적화의 안정성과 관련성을 향상시킨다.
• 공유 가능하고 학습 가능한 프로토타입을 쿼리로 사용하는 프로토타입 기반 세분화 수준 통합(PGU) 모듈은 통합된 공간에서 양 모odal에서 다양하고 의미적으로 정렬된 특징를 추출한다.
• 전체 프레임워크는 MSD와 프로토타입의 공동 최적화를 통해 종단 간 학습되며, 이로써 세분화 수준 통합과 표현 학습이 동시에 이루어진다.
• 이 방법은 추론 시 계산 오버헤드를 추가하지 않으면서도 모달 갭을 감소시키도록 설계되어 있다.

Figure 1. While textual descriptions on the jackets in the all above images are the same, these jackets do in fact differ in terms of their visual details. This example well reflects the granularity gap between the two modalities, i.e. , the visual information is fine-grained while the textual featu

실험 결과

연구 질문

• RQ1 텍스트-이미지 ReID에서 세분화된 시각적 특징와 둔한 텍스트적 특징 간의 세분화 수준 갭을 효과적으로 정렬할 수 있는 방법은 무엇인가?
• RQ2 공유 가능하고 학습 가능한 사전은 모달 특성에 특화된 의미를 유지하면서 다중 모달 표현을 어떻게 통합하는가?
• RQ3 다중 모달리티 가이던스와 배경 중심 재구성 전략이 공유 사전의 최적화 및 성능 향상에 기여하는가?
• RQ4 다양한 모달 간 공유 프로토타입을 사용할 경우 통합 표현 공간에서 특징의 다양성과 정렬이 어떻게 향상되는가?
• RQ5 제안된 LGUR 프레임워크는 표준 벤치마크에서 기존 최신 기술 수준의 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• LGUR은 CUHK-PEDES 데이터셋에서 베이스라인 대비 랭크-1 정확도가 6.58% 향상되었다.
• ICFG-PEDES 데이터셋에서 LGUR은 베이스라인 대비 랭크-1 정확도가 6.93% 향상되었다.
• 다중 모달 공유 사전(MSD)은 자체 어텐션 레이어와 비공유 사전보다 뚜렷한 성능 향상을 보이며, 세분화 수준 갭을 줄이는 데 효과적임을 입증했다.
• PGU 모듈 내 공유 프로토타입은 비공유 프로토타입보다 뛰어난 성능을 기록하여 다중 모달 프로토타입 공유의 이점이 확인되었다.
• 제거 분석 결과, DGA에서 다중 모달리티 가이던스와 배경 마스크가 최적의 MSD 학습과 성능 향상에 필수적임을 확인했다.
• 정성적 어텐션 시각화 결과, 일치하는 어휘-패치 쌍은 사전 원자에서 유사한 어텐션 점수를 가지며, 일치하지 않는 쌍은 그렇지 않음을 확인하여 모델이 세분화 수준을 통합하는 능력을 검증했다.

Figure 2. Overview of the LGUR framework (shown in a), which includes a Dictionary-based Granularity Alignment (DGA) module (shown in b) and a Prototype-based Granularity Unification (PGU) module (shown in c) to achieve feature extraction that is both efficient and granularity-unified. DGA reconstru