[논문 리뷰] Attend to the Difference: Cross-Modality Person Re-identification via Contrastive Correlation

Shizhou Zhang, Yifei Yang외 4명|arXiv (Cornell University)|2019. 10. 25.

Video Surveillance and Tracking Methods참고 문헌 31인용 수 16

한 줄 요약

이 논문은 3D 텐서 공통 공간을 통해 공간적 구조를 유지하고, RGB 및 적외선 이미지 쌍 간의 차이를 주목함으로써 식별력을 향상시키는 이중 경로 프레임워크를 제안한다. 이는 매개변수 없는 대비 상관망(CCNS)을 활용한다. 이 방법은 SYSU-MM01 및 RegDB 데이터셋에서 기존 방법들보다 뚜렷한 성능 향상을 보이며, 전체 및 단순화된 평가 모드 모두에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The problem of cross-modality person re-identification has been receiving increasing attention recently, due to its practical significance. Motivated by the fact that human usually attend to the difference when they compare two similar objects, we propose a dual-path cross-modality feature learning framework which preserves intrinsic spatial strictures and attends to the difference of input cross-modality image pairs. Our framework is composed by two main components: a Dual-path Spatial-structure-preserving Common Space Network (DSCSN) and a Contrastive Correlation Network (CCN). The former embeds cross-modality images into a common 3D tensor space without losing spatial structures, while the latter extracts contrastive features by dynamically comparing input image pairs. Note that the representations generated for the input RGB and Infrared images are mutually dependant to each other. We conduct extensive experiments on two public available RGB-IR ReID datasets, SYSU-MM01 and RegDB, and our proposed method outperforms state-of-the-art algorithms by a large margin with both full and simplified evaluation modes.

연구 동기 및 목표

• 다양한 조명 및 센서 조건에서 RGB-적외선 인물 재식별의 다모달 불일치 문제를 해결하기 위해.
• 기존 1차원 벡터 기반 공통 공간 방법에서 손실되는 특징 표현의 공간적 구조를 유지하기 위해.
• 쌍으로 제공된 RGB 및 적외선 이미지 간의 의미적 차이를 동적으로 주목함으로써 식별력을 향상시키기 위해.
• 대비 상관을 향상시키기 위해 추가 학습 가능한 파rameter가 없는 커널 생성기를 개발하기 위해.
• 공개된 RGB-IR ReID 벤치마크에서 전체 및 단순화된 평가 모드 모두에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이중 경로 공간 구조 유지 공통 공간 네트워크(DSCSN)는 RGB 및 적외선 이미지를 공간적 구조를 유지하는 3D 텐서 기반 공통 특징 공간에 매핑한다.
• 대비 상관망(CCN)은 개인화된 특징 맵에서 동적 커널을 생성하여 입력 이미지 쌍 간의 차이를 강조한다.
• 커널 생성기는 매개변수 없으며, 각 모odal에서의 개인화된 커널의 차이를 기반으로 대비 커널을 계산한다.
• 특징 표현은 상호 의존적이며, 각 이미지의 표현이 쌍의 다른 이미지에 따라 달라지는 쿼리 유도 동적 특징 학습을 가능하게 한다.
• 쌍별 이진 교차 엔트로피(BCE) 및 정체성(ID) 손실을 조합한 공동 손실을 사용하여 엔드 투 엔드로 프레임워크를 학습한다.
• 이 방법은 전체 및 단순화된 추론 모드를 모두 지원하며, 후자는 정확도를 희생시키지 않은 채 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 1D 벡터 기반 방법과 비교해 3D 텐서 공통 공간에서 공간적 구조를 유지하는 것이 다모달 인물 재식별 성능 향상에 기여하는가?
• RQ2 RGB 및 적외선 이미지 쌍 간의 차이를 동적으로 주목하는 것이 ReID에서 특징 식별력 향상에 기여하는가?
• RQ3 추가 학습 가능한 파rameter 없이도 효과적인 대비 상관 특징을 학습하는 데에 매개변수 없는 커널 생성기가 얼마나 유용한가?
• RQ4 제안된 프레임워크는 갤러리 세트에 동일 모달 이미지만 포함될 수 있는 개방 집합 시나리오에 일반화되는가?
• RQ5 공동 학습 목표에서 BCE와 ID 손실을 균형 잡는 데 최적의 트레이드오프 초항수(λ)는 무엇인가?

주요 결과

• SYSU-MM01 데이터셋에서 전체 평가 모드에서 CMC-1 33.4% 및 mAP 37.2%를 달성하여 이전 최신 기술 수준 방법들을 능가한다.
• RegDB 데이터셋에서 전체 평가 모드에서 CMC-1 53.1% 및 mAP 53.5%를 달성하여 다양한 데이터셋 간 강력한 일반화 능력을 입증한다.
• 최적의 초항수 λ = 0.1이 가장 뛰어난 성능을 보이며, SYSU-MM01에서 CMC-1 33.4% 및 mAP 37.2%를 기록하여 손실 간의 안정적이고 견고한 균형을 보여준다.
• 개방 집합 프로토콜에서 SYSU-MM01에서 CMC-1 78.2% 및 mAP 65.3%를 달성하여 혼합 모달 갤러리가 있는 실제 시나리오에서도 강력한 내성성을 보여준다.
• 정성적 시각화 결과, 대비 특징 맵이 의미적 차이가 더 큰 이미지(다른 성별 또는 체형)에 더 강하게 반응하는 것으로 확인되었다.
• 실패 케이스의 주요 원인은 가방을 지닌 등장 변화와 같은 외형 변화로, 모델이 이러한 비신원 관련 변화에 민감함을 보여준다.