[논문 리뷰] Learning Modal-Invariant and Temporal-Memory for Video-based Visible-Infrared Person Re-Identification

Xinyu Lin, Jinxing Li외 6명|arXiv (Cornell University)|2022. 08. 04.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 적대적 훈련을 통해 모odal-불변 특징을 학습하고 시간 메모리 정련 모듈을 통해 운동 불변 시간적 메모리를 포착하는 비디오 기반 RGB-IR 인식 방법인 MITML을 제안한다. 새로 구축한 HITSZ-VCM 데이터셋에서 MITML은 64.62% R1 및 47.32% mAP를 기록하며 기존의 이미지 기반 방법들을 크게 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Thanks for the cross-modal retrieval techniques, visible-infrared (RGB-IR) person re-identification (Re-ID) is achieved by projecting them into a common space, allowing person Re-ID in 24-hour surveillance systems. However, with respect to the probe-to-gallery, almost all existing RGB-IR based cross-modal person Re-ID methods focus on image-to-image matching, while the video-to-video matching which contains much richer spatial- and temporal-information remains under-explored. In this paper, we primarily study the video-based cross-modal person Re-ID method. To achieve this task, a video-based RGB-IR dataset is constructed, in which 927 valid identities with 463,259 frames and 21,863 tracklets captured by 12 RGB/IR cameras are collected. Based on our constructed dataset, we prove that with the increase of frames in a tracklet, the performance does meet more enhancement, demonstrating the significance of video-to-video matching in RGB-IR person Re-ID. Additionally, a novel method is further proposed, which not only projects two modalities to a modal-invariant subspace, but also extracts the temporal-memory for motion-invariant. Thanks to these two strategies, much better results are achieved on our video-based cross-modal person Re-ID. The code and dataset are released at: https://github.com/VCMproject233/MITML.

연구 동기 및 목표

• 비디오 기반의 교차 모odal 인식 방법에서 가시광선 및 적외선 모달 간의 공간적 및 시간적 정보를 동시에 활용할 수 있는 방법의 부족을 해결하기 위해.
• 12대의 카메라에서 촬영된 927명의 신원, 463,259帧의 프레임을 포함하는 대규모 비디오 기반 RGB-IR 인식 데이터셋(HITSZ-VCM)을 구축하기 위해.
• RGB와 IR 모달 간의 도메인 갭을 줄이기 위해 모달-불변 특징을 학습하는 방법을 개발하기 위해.
• 향상된 비디오 수준의 특징 학습을 위해 운동 불변 시간적 표현을 추출하기 위해.
• 실증적 평가를 통해 비디오 기반 방법이 이미지 기반 방법보다 우월함을 입증하기 위해.

제안 방법

• RGB와 IR 특징를 공유되는 모달-불변 부분공간으로 투영하기 위해 새로운 적대적 학습 전략을 사용하여 모달 특유의 편향을 감소시킨다.
• 비디오 프레임 간의 운동 일관성을 포착하기 위해 시간 메모리 정련(TMR) 모듈을 설계하여 분류 성능 향상에 기여한다.
• TMR 모듈은 메모리 백업을 사용해 시간적 특징를 저장하고 업데이트하며, 운동 불변 표현을 정교화하기 위한 학습 가능한 어텐션 메커니즘을 포함한다.
• 삼중체 손실과 대비 손실을 결합한 다중 작업 손실 함수를 사용하며, 두 손실을 균형 조절하기 위해 하이퍼파ram터 λ를 사용하고, 엔드 투 엔드 훈련을 통해 최적화한다.
• 11,785개의 RGB 및 10,078개의 IR 트랙릿을 포함하는 새로운 비디오 기반 RGB-IR 데이터셋(HITSZ-VCM)에서 모델를 훈련하고 평가한다. 이 데이터셋은 12대의 동기화된 카메라에서 수집되었다.
• 제거 실험을 통해 모달-불변 학습과 시간 메모리 정련의 효과를 검증하였으며, λ=0.4에서 최적의 성능를 기록하였다.

실험 결과

연구 질문

• RQ1 비디오 기반 교차 모달 인식이 가시광선-적외선 인식에서 이미지 기반 방법보다 성능을 크게 향상시키는가?
• RQ2 적대적 학습이 비디오 인식에서 RGB와 적외선 모달 간의 도메인 갭을 효과적으로 줄일 수 있는가?
• RQ3 시간 메모리 정련 모듈이 비디오 인식에서 운동 불변 특징를 포착하는 데 얼마나 효과적인가?
• RQ4 제안된 MITML 프레임워크에서 삼중체 손실과 대비 손실 간의 최적의 균형은 무엇인가?
• RQ5 제안된 방법은 트랙릿 길이의 변동성과 모달 불균형에 대해 강인한가?

주요 결과

• HITSZ-VCM 데이터셋은 927명의 신원, 463,259帧의 프레임, 21,863개의 트랙릿을 포함하며, 훈련용 500명, 테스트용 427명의 신원을 포함하여 기존의 이미지 기반 데이터셋보다 크게 확대되었다.
• 더 긴 트랙릿을 가진 비디오 기반 인식이 더 높은 성능를 기록하여, 교차 모달 매칭에서 시간 정보의 가치를 확인한다.
• MITML은 적외선에서 가시광선으로의 검색에서 64.62% R1 및 47.32% mAP를 기록하며, 두 번째로 우수한 성능을 보인 CAJL보다 R1에서 7.15% 향상되고 mAP에서 3.82% 향상되었다.
• 최적의 손실 가중치 λ=0.4에서 최고의 성능를 기록하였으며, 다양한 λ 값에서도 안정적인 성능를 유지하여 모델의 강인성을 입증하였다.
• 최대 풀링과 평균 풀링이 기본 모델에서 가중치 풀링보다 우수한 성능를 보였으며, 이는 비디오 수준 특징에 대해 단순한 집계 방식이 더 효과적임을 시사한다.
• 제거 실험을 통해 모달-불변 학습과 시간 메모리 정련이 성능 향상에 필수적임을 확인하였다.