[논문 리뷰] Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification

Guan-An Wang, Tianzhu Zhang. Yang Yang외 4명|arXiv (Cornell University)|2020. 02. 10.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 37

한 줄 요약

이 논문은 RGB-IR 인물 재식별을 위해 세트 수준 및 인스턴스 수준 정렬을 공동으로 달성하는 JSIA-ReID를 소개하며, 특징 분리 및 특징 교환을 통해 교차 모달리티 짝 이미지 생성으로 RGB-IR 매칭을 향상시킨다.

ABSTRACT

RGB-Infrared (IR) person re-identification is very challenging due to the large cross-modality variations between RGB and IR images. The key solution is to learn aligned features to the bridge RGB and IR modalities. However, due to the lack of correspondence labels between every pair of RGB and IR images, most methods try to alleviate the variations with set-level alignment by reducing the distance between the entire RGB and IR sets. However, this set-level alignment may lead to misalignment of some instances, which limits the performance for RGB-IR Re-ID. Different from existing methods, in this paper, we propose to generate cross-modality paired-images and perform both global set-level and fine-grained instance-level alignments. Our proposed method enjoys several merits. First, our method can perform set-level alignment by disentangling modality-specific and modality-invariant features. Compared with conventional methods, ours can explicitly remove the modality-specific features and the modality variation can be better reduced. Second, given cross-modality unpaired-images of a person, our method can generate cross-modality paired images from exchanged images. With them, we can directly perform instance-level alignment by minimizing distances of every pair of images. Extensive experimental results on two standard benchmarks demonstrate that the proposed model favourably against state-of-the-art methods. Especially, on SYSU-MM01 dataset, our model can achieve a gain of 9.2% and 7.7% in terms of Rank-1 and mAP. Code is available at https://github.com/wangguanan/JSIA-ReID.

연구 동기 및 목표

• RGB와 IR 이미지 간의 큰 교차 모달리티 간격을 다루어 RGB-IR Re-ID를 고무한다.
• 인스턴스 수준 정렬을 가능하게 하기 위해 교차 모달리티 짝 이미지를 생성하는 방법을 제안한다.
• 세트 수준 간격 감소를 위해 모달리티에 불변인 콘텐츠와 모달리티 특이 스타일 특징을 분리한다.
• 모달리티 정렬 및 신원 구별 가능한 특징의 엔드투엔드 학습을 가능하게 한다.
• SYSU-MM01 및 RegDB 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• 세 가지 인코더(E^i: 모달리티-불변, E^s_rgb: RGB-특이, E^s_ir: IR-특이)와 두 개의 디코더를 갖는 생성 모듈 G를 제안하여 분리된 특징을 교환함으로써 교차 모달리티 짝 이미지를 생성한다.
• 세트 수준 정렬에 공용 모달리티-불변 인코더를 사용하고 인스턴스 수준 인코더를 사용하여 짝 이미지 간 거리를 최소화하는 특징 정렬 모듈 F를 학습한다.
• 재구성 손실, 순환 일관성 손실, GAN 손실을 적용하여 현실적인 교차 모달리티 짝 이미지 생성을 보장한다.
• 학습된 공간 T에서 신원 분류기와 트리플렛 손실을 사용하여 교차 모달리티 짝 이미지 특징 간 KL-발산을 최소화하여 인스턴스 수준 정렬을 수행한다.
• 순환 일관성, GAN, 정렬, Re-ID 손실에 대한 가중치를 포함하는 공동 목적 L로 손실을 결합하여 모달리티 정렬 및 신원 구별 특징을 학습한다.
• 테스트 중에는 세트 수준 및 인스턴스 수준 인코더를 통해 특징을 추출하고 코사인 유사도를 계산하여 매칭한다.

실험 결과

연구 질문

• RQ1 모달리티-불변 콘텐츠를 모달리티-특이 스타일로부터 분리하는 것이 RGB와 IR 이미지 간의 세트 수준 교차 모달리티 간격을 줄일 수 있는가?
• RQ2 생성된 교차 모달리티 짝 이미지가 RGB-IR Re-ID를 위한 효과적인 인스턴스 수준 정렬을 가능하게 하는가?
• RQ3 세트 수준과 인스턴스 수준 정렬을 공동으로 수행하는 것이 전역 분포 정렬이나 이미지-대-이미지 변환만 사용하는 방법보다 더 나은가?
• RQ4 제안된 인코더 및 디코딩 스킴이 Re-ID 학습에 적합한 현실적인 교차 모달리티 이미지를 생성하는가?
• RQ5 분리 및 정렬 구성 요소가 SYSU-MM01 및 RegDB에서 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 JSIA-ReID는 SYSU-MM01에서 최첨단 대비 뚜렷한 향상을 달성하고 (Rank-1 및 mAP 향상) 및 RegDB에서도 (Rank-1 및 mAP 향상) 성능 향상을 달성한다.
• 삭제 실험은 세트 수준 정렬과 인스턴스 수준 정렬이 모두 성능에 기여하며, SL+IL의 결합이 최상의 결과를 낳음을 보여준다.
• 특징 분리는 세트 수준 정렬에 도움을 주고 비분리된 기반선보다 모달리티 간 간격을 더 효과적으로 줄인다.
• 생성된 교차 모달리티 짝 이미지는 이미지 쌍 간 거리를 직접 최소화하여 정확한 인스턴스 수준 정렬을 가능하게 한다.
• 이 방법은 다양한 평가 설정(single-shot, multi-shot, all-search/ indoor-search)에서 견고한 성능을 보여준다.
• 시각적 분석은 제안된 생성이 CycleGAN/StarGAN 기반선에 비해 더 충실한 교차 모달리티 짝 이미지를 생성함을 시사한다.