[논문 리뷰] CMTR: Cross-modality Transformer for Visible-infrared Person Re-identification

Tengfei Liang, Yi Jin외 5명|arXiv (Cornell University)|2021. 10. 18.

Video Surveillance and Tracking Methods참고 문헌 23인용 수 15

한 줄 요약

이 논문은 가시광선-적외선 인물 재식별을 위한 크로스모달리즘 트랜스포머인 CMTR를 제안한다. 이는 학습 가능한 모달리즘 임베딩과 새로운 모달리즘 인식 향상(MAE) 손실을 통해 모달리즘 특징을 명시적으로 모델링한다. 모달리즘 임베딩을 트랜스포머 입력에 통합하고 MAE 손실을 통해 특징 분포를 최적화함으로써, CMTR는 SYSU-MM01 및 RegDB에서 최신 기술을 초월하는 성능을 달성한다. 가장 도전적인 싱글샷 설정에서 SYSU-MM01에서 순위 1 정확도 80.62%와 mAP 73.75%를 기록한다.

ABSTRACT

Visible-infrared cross-modality person re-identification is a challenging ReID task, which aims to retrieve and match the same identity's images between the heterogeneous visible and infrared modalities. Thus, the core of this task is to bridge the huge gap between these two modalities. The existing convolutional neural network-based methods mainly face the problem of insufficient perception of modalities' information, and can not learn good discriminative modality-invariant embeddings for identities, which limits their performance. To solve these problems, we propose a cross-modality transformer-based method (CMTR) for the visible-infrared person re-identification task, which can explicitly mine the information of each modality and generate better discriminative features based on it. Specifically, to capture modalities' characteristics, we design the novel modality embeddings, which are fused with token embeddings to encode modalities' information. Furthermore, to enhance representation of modality embeddings and adjust matching embeddings' distribution, we propose a modality-aware enhancement loss based on the learned modalities' information, reducing intra-class distance and enlarging inter-class distance. To our knowledge, this is the first work of applying transformer network to the cross-modality re-identification task. We implement extensive experiments on the public SYSU-MM01 and RegDB datasets, and our proposed CMTR model's performance significantly surpasses existing outstanding CNN-based methods.

연구 동기 및 목표

• 인물 재식별에서 가시광선 이미지와 적외선 이미지 간의 큰 모달리즘 갭을 해결하기 위해, 효과적인 특징 학습을 방해하는 문제를 다루기 위해.
• CNN 기반 방법의 한계를 극복하기 위해, 모달리즘 특성에 충분히 주목하지 못하고 분류 가능한 모달리즘 불변 특징을 학습하지 못하는 문제를 해결하기 위해.
• 특징 학습 중에 모달리즘 정보를 명시적으로 모델링함으로써 트랜스포머 아키텍처가 크로스모달리즘 ReID에서 잠재력을 발휘할 수 있는지 탐색하기 위해.
• 모달리즘 임베딩 학습을 향상시키고 내부 클래스의 응집성과 외부 클래스의 분리성을 향상시키는 새로운 손실 함수를 설계하기 위해.

제안 방법

• 트랜스포머 입력의 패치 토큰 임베딩에 추가되는 학습 가능한 모달리즘 임베딩(ME)을 도입하여, 가시광선 및 적외선 모달리즘 특성을 명시적으로 인코딩한다.
• 모달리즘 임베딩을 패치 토큰과 융합하여, 트랜스포머가 자기 주도 어텐션 계산 중에 모달리즘 특성에 주목할 수 있도록 한다.
• 모달리즘 인식 센터 손실(MAC)과 모달리즘 인식 ID 손실(MAID)으로 구성된 모달리즘 인식 향상(MAE) 손실을 제안하며, ME에서 모달리즘 특성 지식을 제거하여 임베딩을 정련한다.
• MAE 손실 내에서 모달리즘 제거 과정을 적용하여, 임베딩에서 학습된 모달리즘 정보를 빼내 모달리즘 불변 표현을 정련한다.
• 학습 중에 MAE 손실을 적용하여 임베딩 공간에서 내부 클래스 간 거리의 최소화와 외부 클래스 간 거리의 최대화를 달성한다.
• 깊은 층에서는 공유된 가중치를, 浅층에서는 공유되지 않은 가중치를 사용하는 이중 스트림 트랜스포머 백본을 활용하여 모달리즘 특성 및 공유 특성을 모두 유지한다.

실험 결과

연구 질문

• RQ1 모달리즘 특성을 명시적으로 모델링함으로써 트랜스포머 기반 아키텍처가 가시광선-적외선 인물 재식별에서 효과적으로 모달리즘 불변 표현을 학습할 수 있는가?
• RQ2 학습 가능한 모달리즘 임베딩을 통합함으로써 표준 ViT 또는 CNN 기반 방법에 비해 특징 표현이 어떻게 향상되는가?
• RQ3 모달리즘 인식 향상(MAE) 손실이 임베딩 공간에서 내부 클래스의 응집성과 외부 클래스의 분리성에 얼마나 기여하는가?
• RQ4 제안된 방법이 SYSU-MM01 및 RegDB와 같은 벤치마크 데이터셋에서 기존 최신 기술 기반 CNN 모델을 초월하는가?
• RQ5 모달리즘 임베딩과 MAE 손실이 큰 모달리즘 갭에도 불구하고 모델이 정체성 불변 특징에 주목하는 데 도움이 되는가?

주요 결과

• CMTR는 가장 도전적인 싱글샷 올검색 설정에서 SYSU-MM01 데이터셋에서 순위 1 정확도 80.62%와 mAP 73.75%를 기록하며, 이는 이전 최신 기술 기반 CNN 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험에서 모달리즘 임베딩(ME)만 추가해도 기본 ViT 대비 순위 1 정확도 3.12% 향상 및 mAP 2.19% 향상되었다.
• 모달리즘 인식 센터 손실(MAC)은 순위 1 정확도에 +2.13% 향상 및 mAP에 +3.24% 향상 기여했으며, 모달리즘 인식 ID 손실(MAID)은 순위 1 정확도에 +3.13% 향상 및 mAP에 +2.57% 향상 기여하여 상호 보완적 효과를 입증했다.
• 전체 MAE 손실을 공동 최적화함으로써 기본 모델 대비 순위 1 정확도 +5.18% 향상 및 mAP +5.17% 향상되었으며, 이는 특징 분류 능력을 향상시키는 데 효과적임을 확인했다.
• t-SNE 시각화 결과, MAE 손실이 더 응집된 내부 클래스 클러스터와 더 큰 외부 클래스 간 거리를 유도함으로써 일반화 능력을 향상시킨다.
• Grad-CAM 시각화 결과, ME를 갖춘 CMTR가 가시광선 이미지에서 보이지 않는 세부 정보(예: 셔츠 무늬)와 같은 정체성 불변 특징을 모달리즘 간에 더 잘 포착하는 것으로 확인되었다.