[논문 리뷰] Learning Robust Visual-Semantic Embedding for Generalizable Person Re-identification

Suncheng Xiang, Jingsheng Gao외 6명|arXiv (Cornell University)|2023. 04. 19.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 다중 모odal 등가 트랜스포머(MMET)를 제안하며, 이미지와 텍스트 모odal을 공동으로 모델링하여 일반화 가능한 인물 재식별을 위한 강건한 시각-의미 임베딩을 학습한다. 동적 마스킹 메커니즘(MMM)을 도입하여 훈련 중 이미지 패치와 텍스트 토큰을 마스킹함으로써 단모달 및 다중모달 데이터에서 효과적인 표현 학습을 가능하게 하며, 도메인 특화 미세조정 없이도 여러 Re-ID 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Generalizable person re-identification (Re-ID) is a very hot research topic in machine learning and computer vision, which plays a significant role in realistic scenarios due to its various applications in public security and video surveillance. However, previous methods mainly focus on the visual representation learning, while neglect to explore the potential of semantic features during training, which easily leads to poor generalization capability when adapted to the new domain. In this paper, we propose a Multi-Modal Equivalent Transformer called MMET for more robust visual-semantic embedding learning on visual, textual and visual-textual tasks respectively. To further enhance the robust feature learning in the context of transformer, a dynamic masking mechanism called Masked Multimodal Modeling strategy (MMM) is introduced to mask both the image patches and the text tokens, which can jointly works on multimodal or unimodal data and significantly boost the performance of generalizable person Re-ID. Extensive experiments on benchmark datasets demonstrate the competitive performance of our method over previous approaches. We hope this method could advance the research towards visual-semantic representation learning. Our source code is also publicly available at https://github.com/JeremyXSC/MMET.

연구 동기 및 목표

• 데이터셋 간 도메인 이동으로 인한 인물 재식별의 낮은 도메인 일반화 성능 문제를 해결하기 위해.
• 다양한 시각적 및 텍스트 도메인에서 모델의 강건성 향상에 기여할 수 있는 의미적 특징의 잠재력을 탐색하기 위해.
• 비일치된 이미지-텍스트 데이터와 일치된 이미지-텍스트 데이터를 효과적으로 처리할 수 있는 통합된 트랜스포머 기반 아키텍처를 개발하기 위해.
• 재학습이나 미세조정 없이도 새로운 데이터셋에 대해 제로샷 적응을 가능하게 하기 위해.
• 기존 방법들이 라벨이 부여된 타겟 데이터나 고정된 클래스 집합에 의존하는 한계를 극복하기 위해.

제안 방법

• 시각, 언어, 시각-언어 작업을 위해 동일한 트랜스포머 아키텍처를 공유하는 다중모달 등가 트랜스포머(MMET)를 제안한다.
• 사전학습 중 이미지 패치와 텍스트 토큰을 동시에 마스킹하는 동적 마스킹 메커니즘인 마스킹 다중모달 모델링(MMM)을 도입한다.
• MMM는 단모달(이미지 전용 또는 텍스트 전용) 및 다중모달(이미지-텍스트 쌍) 입력에서의 공동 학습을 가능하게 하여 강건성과 일반화 능력을 향상시킨다.
• 공유된 임베딩 공간에서 시각적 및 텍스트적 특징을 정렬하기 위해 대비 학습 목표를 사용한다.
• 단일모달 및 다중모달 처리를 분리하기 위해 공유된 어텐션 메커니즘을 갖춘 이중 브랜치 인코더 구조를 활용한다.
• 비일치된 이미지, 비일치된 텍스트, 일치된 이미지-텍스트 데이터의 조합을 훈련에 활용하여 모달이 불완전한 조건에서도 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합된 트랜스포머 아키텍처가 인물 재식별을 위한 단모달 및 다중모달 입력에서 효과적으로 시각-의미 표현을 학습할 수 있는가?
• RQ2 이미지 패치와 텍스트 토큰의 동적 마스킹이 도메인 이동 상황에서 Re-ID의 강건성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 사전학습 단계에서 의미적 특징을 통합하면 예측 불가능한 데이터셋으로의 제로샷 전이 성능이 향상되는가?
• RQ4 제안된 MMET 프레임워크는 미세조정 없이도 기존 방법들에 비해 교차 데이터셋 일반화 성능에서 어떻게 비교되는가?
• RQ5 사전학습 데이터의 크기와 다양성이 다중모달 Re-ID 모델 성능에 얼마나 영향을 미치는가?

주요 결과

• MMET는 제로샷 교차 데이터셋 일반화 설정에서 Market-1501, DukeMTMC-reID, CUHK03 데이터셋에서 최신 기준 성능을 달성한다.
• DukeMTMC-reID에서 MMET는 FineGPR 사전학습을 사용할 경우 43.6%의 Rank-1 정확도를 기록하며, 동일한 백본을 사용한 RandPerson 기준선(47.6% Rank-1)을 능가한다.
• 제안된 MMM 메커니즘이 단모달 및 다중모달 데이터에서의 효과적인 공동 학습을 가능하게 하여 모든 벤치마크에서 성능 향상을 크게 이룬다.
• Grad-CAM 시각화 결과 MMET가 의미 있는 주의 맵을 학습하고 있음을 확인하여 분류에 기여하는 특징의 정확한 국소화 능력을 보여준다.
• 모델은 어떤 미세조정이나 적응 없이도 새로운 데이터셋으로 효과적으로 일반화되며, 강력한 도메인 일반화 능력을 입증한다.
• FineGPR와 같이 크거나 다양한 데이터셋에서 성능이 저하됨을 확인하여 데이터의 크기와 다양성이 비전 트랜스포머 성능에 매우 중요하다는 것을 시사한다.