[논문 리뷰] A Similarity Inference Metric for RGB-Infrared Cross-Modality Person Re-identification

Mengxi Jia, Yunpeng Zhai외 3명|arXiv (Cornell University)|2020. 07. 03.

Video Surveillance and Tracking Methods참고 문헌 16인용 수 8

한 줄 요약

이 논문은 RGB-적외선 교차모달 성격의 인물 재식별을 위한 유사도 추론 지표(SIM)를 제안한다. 이 지표는 동일 모달 내 샘플 유사도를 활용하여 교차모달 매칭을 향상시킨다. 유사도 그래프 추론(SGR)과 상호 근접 이웃 추론(MNNR)을 결합함으로써, 추가 학습을 최소화하면서도 정확도를 향상시키며, SYSU-MM01 및 RegDB 데이터셋에서 기준 모델 대비 mAP 20.98% 향상과 순위-1 정확도 3.00% 향상을 달성한다.

ABSTRACT

RGB-Infrared (IR) cross-modality person re-identification (re-ID), which aims to search an IR image in RGB gallery or vice versa, is a challenging task due to the large discrepancy between IR and RGB modalities. Existing methods address this challenge typically by aligning feature distributions or image styles across modalities, whereas the very useful similarities among gallery samples of the same modality (i.e. intra-modality sample similarities) is largely neglected. This paper presents a novel similarity inference metric (SIM) that exploits the intra-modality sample similarities to circumvent the cross-modality discrepancy targeting optimal cross-modality image matching. SIM works by successive similarity graph reasoning and mutual nearest-neighbor reasoning that mine cross-modality sample similarities by leveraging intra-modality sample similarities from two different perspectives. Extensive experiments over two cross-modality re-ID datasets (SYSU-MM01 and RegDB) show that SIM achieves significant accuracy improvement but with little extra training as compared with the state-of-the-art.

연구 동기 및 목표

• RGB 이미지와 적외선 이미지 간의 큰 모달 차이 문제를 해결한다.
• 기존 방법들이 교차모달 정렬에 집중하면서도, 분류 가능한 동일 모달 내 샘플 유사도를 간과하는 한계를 극복한다.
• 재학습이 광범위하게 필요하지 않은, 일반화된 지표를 개발하여 교차모달 매칭을 향상시킨다.
• 기본적인 RGB-적외선 데이터셋에서 여러 최신 기술 기반 재식별 모델에 대해 일관된 성능 향상을 입증한다.

제안 방법

• 동일 모달 내 유사도를 활용하여 교차모달 샘플 유사도를 추론하는 유사도 추론 지표(SIM)를 제안한다.
• 유사도 그래프 추론(SGR)을 도입하여 그래프 최단 경로를 이용해 갤러리 샘플 간의 관계를 모델링함으로써 유사도 추론을 향상시킨다.
• 상호 근접 이웃 추론(MNNR)을 설계하여 이미지 쌍 간의 k개 이웃 집합의 겹침을 활용해 유사도 추정을 향상시킨다.
• SGR와 MNNR를 계층적으로 조합하여 교차모달 유사도 예측을 단계적으로 개선한다.
• 기존 재식별 프레임워크에 SIM을 플러그인 모듈로 통합하여, 기본 모델 외 추가 학습 없이도 간단한 적응만으로 통합 가능하다.
• 스케일 인자 λ, 제한 인자 K, 보상 인자 α를 갖는 파rameterized 유사도 융합 메커니즘을 사용하여 SGR와 MNNR의 기여도를 균형 있게 조절한다.

실험 결과

연구 질문

• RQ1 동일 모달 내 샘플 유사도는 교차모달 인물 재식별 성능 향상에 효과적으로 활용될 수 있는가?
• RQ2 유사도 그래프 추론과 상호 근접 이웃 추론은 개별적으로나 함께 작용할 때 교차모달 매칭을 어떻게 향상시키는가?
• RQ3 SIM은 재학습 없이 다양한 재식별 모델에 얼마나 잘 일반화되는가?
• RQ4 SIM의 성능을 최적화하기 위한 최적의 하이퍼파라미터 설정은 무엇인가?
• RQ5 SIM은 서로 다른 유사도를 보이는 하드 양성 샘플(쿼리와는 다를지라도 진짜 매칭과 유사한 샘플)의 순위를 향상시키는가?

주요 결과

• SYSU-MM01 데이터셋에서 SIM은 기준 모델 대비 mAP를 20.98% 향상시켜 60.88%로 개선하고, 순위-1 정확도를 3.00% 향상시켜 56.93%로 높였다.
• RegDB 데이터셋에서 SIM은 기준 모델 대비 mAP를 14.49% 향상시키고, 순위-1 정확도를 2.37% 향상시켰다.
• SGR와 MNNR의 조합은 개별 구성 요소보다 우수한 성능을 보이며, 상호 보완적인 성질을 입증한다.
• SIM은 다양한 재식별 모델에 효과적으로 일반화된다: AlignGAN과 AGW에 적용했을 때 각각 mAP를 최대 22.94%와 17.44% 향상시켰다.
• 최적의 하이퍼파라미터는 λ = 0.01, K = 9, α = 0.3로 확인되었으며, 이는 유사도 추정의 민감도와 분류 능력 간의 균형을 잘 맞춘다.
• 시각화 결과, SIM은 기준 모델에서 순위가 낮았던 진짜 양성 매칭의 유사도 점수를 효과적으로 높여주며, 특히 하드 양성 샘플에 대해 뚜렷한 향상을 보였다.