[논문 리뷰] RGB-Infrared Cross-Modality Person Re-Identification via Joint Pixel and Feature Alignment

Guan’an Wang, Tianzhu Zhang외 4명|arXiv (Cornell University)|2019. 10. 13.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 59

한 줄 요약

AlignGAN을 제안하는 RGB-IR Re-ID용 픽셀- 및 특징 정렬 결합 GAN으로, RGB를 가짜 IR로 변환하고 공동 판별기를 통해 신원 보존적이며 모달리티에 구애받지 않는 특징을 학습한다. 이는 SYSU-MM01과 RegDB에서 최첨단 성능을 달성한다.

ABSTRACT

RGB-Infrared (IR) person re-identification is an important and challenging task due to large cross-modality variations between RGB and IR images. Most conventional approaches aim to bridge the cross-modality gap with feature alignment by feature representation learning. Different from existing methods, in this paper, we propose a novel and end-to-end Alignment Generative Adversarial Network (AlignGAN) for the RGB-IR RE-ID task. The proposed model enjoys several merits. First, it can exploit pixel alignment and feature alignment jointly. To the best of our knowledge, this is the first work to model the two alignment strategies jointly for the RGB-IR RE-ID problem. Second, the proposed model consists of a pixel generator, a feature generator, and a joint discriminator. By playing a min-max game among the three components, our model is able to not only alleviate the cross-modality and intra-modality variations but also learn identity-consistent features. Extensive experimental results on two standard benchmarks demonstrate that the proposed model performs favorably against state-of-the-art methods. Especially, on SYSU-MM01 dataset, our model can achieve an absolute gain of 15.4% and 12.9% in terms of Rank-1 and mAP.

연구 동기 및 목표

• 픽셀과 특징 표현을 함께 정렬하여 RGB-IR 교차 모달리티 간 차이를 줄인다.
• RGB 입력에서 신원 보존적인 가짜 IR 이미지를 생성하여 교차 모달리티 변이를 줄인다.
• 공동 판별기를 사용하여 모달리티 간의 신원 일관된 특징을 엔드-투-엔드 프레임워크로 학습한다.

제안 방법

• RGB를 가짜 IR 이미지로 번역하는 GAN 기반 생성기 Gp와 사이클 일관성 제약을 갖춘 픽셀 정렬 모듈을 도입한다.
• 분류 손실 및 트리플 손실을 사용해 가짜 IR 이미지와 실제 IR 이미지를 공유 공간에 임베딩하는 CNN 기반 생성기 Gf와 특징 정렬 모듈을 도입하고, 특징 공간에서 GAN 손실을 더한다.
• 이미지–특징 쌍을 입력으로 받아 신원 일관된 실제 쌍을 강제하고 불일치를 패널티하는 공동 판별기 Dj를 활용하여 Gp와 Gf를 모두 안내한다.
• Dj와 결합된 P와 F 모듈 간의 미니맥스 게임으로 학습하여 교차- 및 내부 모달리티 변 Variation 감소와 신원 보존 특징 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 RGB에서 IR로의 픽셀 수준 변환이 RGB-IR Re-ID의 교차 모달리티 변화를 줄일 수 있는가?
• RQ2 공유된 판별기를 갖춘 픽셀 및 특징의 결합 정렬이 특징 만으로의 방법과 비교해 신원 일관성과 재식별 정확도를 향상시키는가?
• RQ3 사이클 일관성, 신원 분류, 트리플 손실이 RGB-IR 데이터의 강건한 교차 모달 매칭에 어떻게 기여하는가?

주요 결과

• AlignGAN은 SYSU-MM01에서 최첨단 방법을 능가하며 Rank-1 및 mAP에서 큰 이점을 보인다.
• PIXEL 정렬(Gp)은 기본선 대비 Rank-1을 크게 향상시키며, 독립적인 특징 정렬보다 더 큰 효과를 보인다.
• 공동 판별기 가이던스가 학습된 특징의 모달리티 간 신원 일관성을 향상시킨다.
• RegDB에서 AlignGAN은 열-가시 정보 간 및 가시-열 정보 간 설정에서 Rank-1 및 mAP의 상당한 향상을 달성한다.
• 절제 연구(Ablation study)는 픽셀 정렬, 특징 정렬 및 공동 판별기의 효과를 확인한다.