[논문 리뷰] RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model

Ziyue Zhang, Shuai Jiang외 3명|arXiv (Cornell University)|2020. 07. 15.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 9

한 줄 요약

이 논문은 RGB-IR 교차 모odal person re-identification을 위한 Teacher-Student GAN 모델(TS-GAN)을 제안한다. 사전 훈련된 IR ReID Teacher를 활용하여 다중 수준의 특징 정렬과 사이클 일관성 있는 GAN에 의한 IR 이미지 생성을 통해 Student ReID 백본을 안내한다. 이 방법은 테스트 시에 GAN 추론을 사용하지 않고 백본만을 사용하여 효율적인 추론을 구현하면서도, SYSU-MM01 벤치마크에서 49.8% Rank-1 및 47.4% mAP 성능을 달성하여 SOTA를 초월한다.

ABSTRACT

RGB-Infrared (RGB-IR) person re-identification (ReID) is a technology where the system can automatically identify the same person appearing at different parts of a video when light is unavailable. The critical challenge of this task is the cross-modality gap of features under different modalities. To solve this challenge, we proposed a Teacher-Student GAN model (TS-GAN) to adopt different domains and guide the ReID backbone to learn better ReID information. (1) In order to get corresponding RGB-IR image pairs, the RGB-IR Generative Adversarial Network (GAN) was used to generate IR images. (2) To kick-start the training of identities, a ReID Teacher module was trained under IR modality person images, which is then used to guide its Student counterpart in training. (3) Likewise, to better adapt different domain features and enhance model ReID performance, three Teacher-Student loss functions were used. Unlike other GAN based models, the proposed model only needs the backbone module at the test stage, making it more efficient and resource-saving. To showcase our model's capability, we did extensive experiments on the newly-released SYSU-MM01 RGB-IR Re-ID benchmark and achieved superior performance to the state-of-the-art with 49.8% Rank-1 and 47.4% mAP.

연구 동기 및 목표

• 감시 환경에서 RGB와 적외선(IR) 사람 이미지 간의 상당한 모달 간 도메인 갭을 해결한다.
• person ReID에서 제한된 IR 이미지 정보와 모달 간 불일치 문제를 해결한다.
• 쌍체의 훈련 데이터에 대한 의존도를 줄이고, 테스트 시 GAN 추론을 방지하여 효율성을 높인다.
• 사전 훈련된 IR ReID Teacher를 활용하여 Student ReID 백본의 특징 표현을 향상시킨다.
• 다중 수준의 지식 정렬과 공동 판별자 훈련을 통해 모델의 일반화 능력과 성능을 향상시킨다.

제안 방법

• 실제 RGB 입력에서 현실적인 가짜 IR 이미지를 생성하기 위해 공동 판별자를 갖춘 사이클 일관성 있는 GAN을 훈련하여 RGB-IR 페어 훈련 데이터를 생성한다.
• 실제 IR 이미지에 대해 IR ReID Teacher 모델을 사전 훈련하여 높은 정확도를 달성하고, 특징 감독 소스로 활용한다.
• 세 가지 지식 정렬 손실을 구현한다: (1) Student 내에서 실제 RGB와 가짜 IR 특징 간의 정렬, (2) Student와 Teacher 내에서 실제 IR과 가짜 IR 특징 간의 정렬, (3) Student와 Teacher 내에서 실제 IR 특징 간의 정렬.
• ReID 특징의 현실성까지 반영하여 적대적 훈련에 통합함으로써 이미지 생성 품질을 향상시키기 위해 공동 판별자를 사용한다.
• 삼중체 손실, 교차 엔트로피 손실 및 세 가지 정렬 손실을 사용하여 Student ReID 백본을 훈련함으로써 모달 간 특징을 정렬한다.
• 테스트 시에는 오직 ReID 백본만을 배포하여 GAN 추론을 제거하고 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 IR ReID Teacher로부터의 지식 정렬이 RGB-IR person ReID에서 모달 간 특징 정렬을 향상시키는가?
• RQ2 쌍체의 실제 데이터가 필요 없이도 GAN 기반의 합성 IR 이미지 생성이 모달 갭을 줄이는 데 얼마나 효과적인가?
• RQ3 ReID 특징 피드백을 통한 생성자와 판별자의 공동 훈련이 이미지의 현실성과 ReID 성능을 동시에 향상시키는가?
• RQ4 다중 수준의 정렬 손실(특징 수준 및 재구성 수준)이 일반화 능력과 정확도를 상당히 향상시키는가?
• RQ5 제안된 TS-GAN 모델은 테스트 시 GAN 추론을 제거하면서도 높은 성능을 유지하는가?

주요 결과

• 제안된 TS-GAN 모델은 SYSU-MM01 벤치마크에서 49.8% Rank-1 및 47.4% mAP 성능을 달성하여 기존 SOTA를 초월한다.
• 공동 판별자와 모든 정렬 손실을 포함한 전체 TS-GAN(TS-GAN_JD_allTS)은 49.8% Rank-1 정확도를 기록했으며, 기준 ReID 백본 대비 8.4% 향상된 성능을 보였다.
• 재정렬을 적용하면 성능이 더욱 향상되어 58.3% Rank-1 및 55.1% mAP를 달성하였으며, 이는 모델의 강건성과 일반화 능력을 입증한다.
• IR Teacher 모듈은 단일 모달 IR 테스트 세트에서 98.0% Rank-1 성능을 기록하여 강력한 특징 학습 능력을 입증한다.
• 시각화 결과는 생성된 가짜 IR 이미지가 현실적이며, 모달 갭을 효과적으로 줄이는 데 성공했음을 확인했지만, 저품질 또는 가림이 있는 IR 이미지에서는 성능 저하가 발생함을 확인했다.
• 절단 분석 결과, 모든 정렬 손실을 추가할수록 성능이 점진적으로 향상되었으며, 공동 판별자가 가장 큰 기여를 했다.