[논문 리뷰] Improving Description-based Person Re-identification by Multi-granularity Image-text Alignments

Kai Niu, Yan Huang외 2명|arXiv (Cornell University)|2019. 06. 23.

Video Surveillance and Tracking Methods참고 문헌 49인용 수 12

한 줄 요약

이 논문은 기술 기반 인물 재식별을 위한 다중 분해능 이미지-텍스트 정렬(MIA) 모델을 제안한다. 이는 전역-전역, 전역-국소, 국소-국소 수준에서 계층적으로 이미지와 텍스트를 정렬하여 이질적 모odal 간 유사성과 세분화된 식별력을 향상시킨다. 제안된 방법은 종단간 훈련 프레임워크와 단계별 훈련 전략을 사용하여 CUHK-PEDES 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Description-based person re-identification (Re-id) is an important task in video surveillance that requires discriminative cross-modal representations to distinguish different people. It is difficult to directly measure the similarity between images and descriptions due to the modality heterogeneity (the cross-modal problem). And all samples belonging to a single category (the fine-grained problem) makes this task even harder than the conventional image-description matching task. In this paper, we propose a Multi-granularity Image-text Alignments (MIA) model to alleviate the cross-modal fine-grained problem for better similarity evaluation in description-based person Re-id. Specifically, three different granularities, i.e., global-global, global-local and local-local alignments are carried out hierarchically. Firstly, the global-global alignment in the Global Contrast (GC) module is for matching the global contexts of images and descriptions. Secondly, the global-local alignment employs the potential relations between local components and global contexts to highlight the distinguishable components while eliminating the uninvolved ones adaptively in the Relation-guided Global-local Alignment (RGA) module. Thirdly, as for the local-local alignment, we match visual human parts with noun phrases in the Bi-directional Fine-grained Matching (BFM) module. The whole network combining multiple granularities can be end-to-end trained without complex pre-processing. To address the difficulties in training the combination of multiple granularities, an effective step training strategy is proposed to train these granularities step-by-step. Extensive experiments and analysis have shown that our method obtains the state-of-the-art performance on the CUHK-PEDES dataset and outperforms the previous methods by a significant margin.

연구 동기 및 목표

• 시각적으로 유사한 보행자 이미지와 의미적으로 겹치는 기술이 있는 기술 기반 인물 재식별에서 이질적 모달 간의 세분화된 문제를 해결하기 위해.
• 다양한 분해능 수준에서의 다중 수준 정렬을 통해 이미지와 텍스트 기술 간의 이질적 모달 간 유사성 측정을 향상시키기 위해.
• 복잡한 사전 처리나 자세 또는 부위 레이블과 같은 외부 애너테이션을 요구하지 않는 종단간 훈련 가능한 모델을 설계하기 위해.
• 다양한 분해능을 순차적으로 효과적으로 훈련시켜 학습 안정성과 성능을 향상시키는 단계별 훈련 전략을 개발하기 위해.

제안 방법

• 전역 대비(GC) 모듈은 전역-전역 정렬을 수행하여 전반적인 이미지 및 기술 표현을 매칭함으로써 전역적 맥락을 포착한다.
• 관계 유도 전역-국소 정렬(RGA) 모듈은 국소 부위와 전역 맥락 간의 관계를 모델링하여 구분 가능한 국소 구성 요소를 적응적으로 강조하고, 관련 없는 영역은 억제한다.
• 양방향 세분화 매칭(BFM) 모듈은 기술의 명사구와 시각적 인간 부위를 매칭하여 국소-국소 정렬을 수행한다.
• 세 가지 분해능을 순차적으로 훈련하기 위해 단계별 훈련 전략이 사용되며, GC → RGA → BFM의 순서로 훈련되어 최적화 안정성과 수렴 성능 향상에 기여한다.
• 전체 MIA 모델은 외부 신호, 부위 애너테이션, 또는 복잡한 사전 처리 없이 종단간 훈련 가능한 구조를 갖춘다.

실험 결과

연구 질문

• RQ1 다중 분해능 정렬은 기술 기반 인물 재식별에서 이질적 모달 간 유사성을 어떻게 향상시킬 수 있는가?
• RQ2 전역, 전역-국소, 국소-국소 수준에서의 계층적 정렬은 세분화된 보행자 이미지에서 식별력을 향상시킬 수 있는가?
• RQ3 단계별 훈련 전략은 다중 분해능 이미지-텍스트 정렬의 훈련 안정성과 성능을 어떻게 향상시키는가?
• RQ4 하이퍼파rameter는 MIA 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• MIA 모델은 CUHK-PEDES 데이터셋에서 최신 기술 수준 성능을 달성하며, 이전 방법들에 비해 뚜렷한 성능 향상을 보였다.
• 하이퍼파rameter λ₁=1.5 및 λ₂=0.7 설정 시 R@1 정확도는 47.8%에 도달하였으며, 총 검색 점수는 197.2였다.
• 성능 최적점은 λ₁=1.5 및 λ₂=0.7에서 관찰되어 전역 및 국소 정렬 감시 간 최적의 균형이 확보됨을 시사한다.
• 실패 사례의 주요 원인은 기술의 완전한 커버리지 부족 또는 모호하거나 흐린 특성(예: 언급되지 않은 액세서리 또는 색상 모호성)이었다.
• 제거 분석 결과 각 구성 요소(GC, RGA, BFM)가 성능 향상에 기여하며, 전체 MIA 모델이 가장 높은 검색 점수를 기록함을 확인하였다.