[논문 리뷰] Modality Unifying Network for Visible-Infrared Person Re-Identification

Hao Yu, Cheng Xu외 3명|arXiv (Cornell University)|2023. 09. 12.

Video Surveillance and Tracking MethodsComputer Science인용 수 3

한 줄 요약

이 논문은 가시광선-적외선 신원 재식별(VI-ReID)을 위한 모odal 통합 네트워크(MUN)를 제안하며, 내모달리티 및 교차모달리티 학습자들을 조합하여 다이나믹하게 모달리티 특화 및 공유 특징을 모델링하는 강력한 보조 모달리티를 생성한다. 이 방법은 판별적 특징 학습을 향상시키기 위해 정체성 정렬 및 모달리티 정렬 손실을 도입하여 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전의 SOTA 방법인 AGW+J를 랭크-1 기준 1.08% 향상시키고 mAP 기준 0.77% 향상시켰다.

ABSTRACT

Visible-infrared person re-identification (VI-ReID) is a challenging task due to large cross-modality discrepancies and intra-class variations. Existing methods mainly focus on learning modality-shared representations by embedding different modalities into the same feature space. As a result, the learned feature emphasizes the common patterns across modalities while suppressing modality-specific and identity-aware information that is valuable for Re-ID. To address these issues, we propose a novel Modality Unifying Network (MUN) to explore a robust auxiliary modality for VI-ReID. First, the auxiliary modality is generated by combining the proposed cross-modality learner and intra-modality learner, which can dynamically model the modality-specific and modality-shared representations to alleviate both cross-modality and intra-modality variations. Second, by aligning identity centres across the three modalities, an identity alignment loss function is proposed to discover the discriminative feature representations. Third, a modality alignment loss is introduced to consistently reduce the distribution distance of visible and infrared images by modality prototype modeling. Extensive experiments on multiple public datasets demonstrate that the proposed method surpasses the current state-of-the-art methods by a significant margin.

연구 동기 및 목표

• 기존 VI-ReID 방법들이 모달리티 공유 표현을 우선시하면서 모달리티 특화 및 정체성 인지 특징를 억압하는 한계를 해결하기 위해.
• 모달리티 특화 및 모달리티 공유 패tern을 동적으로 균형 잡는 강력한 보조 모달리티를 생성하여 교차모달리티 및 내모달리티 불일치를 감소시키기 위해.
• 모달리티 간 일관된 특징 분포 정렬을 통해 데이터 손상 상황에서도 특징의 일반화 능력과 안정성을 향상시키기 위해.
• 배치 수준의 분포 추정으로 인한 학습 불일치 문제를 완화하기 위해 모달리티 프로토타입 기반 정렬 전략을 도입하기 위해.
• 센터 기반 손실 최적화를 통한 정체성 인지 특징 학습을 통해 판별력을 향상시키기 위해.

제안 방법

• 보조 모달리티는 다중 수용각 영역 깊이 합성곱을 사용하여 가시광선 및 적외선 이미지에서 모달리티 특화 및 정체성 인지 특징를 추출하는 이중다리 내모달리티 학습자(IML)를 통해 생성된다.
• 교차모달리티 학습자(CML)는 공간 피ラ미드 풀링을 사용하여 IML의 출력을 융합하고 다중 척도의 모달리티 공유 표현을 추출한다.
• 정체성 정렬 손실은 정체성 중심을 정렬하여 동일 정체성의 특징가 가시광선, 적외선, 보조 모달리티 간에 더 가까워지도록 한다.
• 모달리티 정렬 손실은 모달리티 프로토타입을 사용하여 가시광선 및 적외선 특징 간 분포 거리의 최소화를 통해 교차모달리티 일관성을 향상시킨다.
• 특징 판별성과 모달리티 내성 향상을 동시에 최적화하기 위해 트리플릿 손실, 정체성 정렬 손실, 모달리티 정렬 손실의 조합을 통해 네트워크를 엔드 투 엔드로 학습시킨다.
• T-SNE 및 Grad-CAM을 통한 특징 시각화 결과, 보조 모달리티가 공유 구조적 패턴을 효과적으로 유지하면서도 모달리티 간 격차를 감소시킴을 확인하였다.

실험 결과

연구 질문

• RQ1 모달리티 특화 및 모달리티 공유 패턴을 동적으로 균형 잡는 다이나믹하게 생성된 보조 모달리티가 VI-ReID 성능 향상에 기여하는가?
• RQ2 제안된 정체성 정렬 손실이 교차모달리티 환경에서 내클래스 밀도 및 외클래스 분리도에 어떤 영향을 미치는가?
• RQ3 모달리티 프로토타입 기반 정렬이 가시광선 및 적외선 특징 간 분포 이동을 어느 정도 감소시키는가?
• RQ4 보조 모달리티가 데이터 손상 또는 분포 이동 상황에서 성능 향상에 기여하는가?
• RQ5 제안된 방법이 청소년 및 손상된 데이터 시나리오 모두에서 기존 최신 기술 수준(SOTA) 방법을 능가하는가?

주요 결과

• 제안된 MUN 방법은 SYSU-MM01 데이터셋에서 랭크-1 정확도 92.1% 및 mAP 81.3%를 달성하여 이전 SOTA 방법인 AGW+J를 랭크-1 기준 1.08% 향상시키고 mAP 기준 0.77% 향상시켰다.
• RegDB 데이터셋에서는 랭크-1 86.7%, mAP 74.5%를 기록하여 도메인 이동 상황에서도 강력한 일반화 능력을 보였다.
• 손상된 데이터 평가에서 MUN은 일관된 성능 향상을 유지하여 이미지 열화 및 분포 이동에 대한 강건성을 입증하였다.
• T-SNE 시각화 결과, 보조 모달리티가 가시광선 및 적외선 특징 공간을 효과적으로 연결하며, 학습 과정에서 특징가 정체성 중심으로 수렴하는 것을 확인하였다.
• Grad-CAM 시각화 결과, 보조 특징 맵이 양 모달리티의 핵심 구조적 및 정체성 관련 패턴을 유지하면서도 모달리티 특화 노이즈를 감소시킴을 확인하였다.
• 절단 실험 결과, 정체성 정렬 손실 및 모달리티 정렬 손실이 성능 향상에 기여하며, 보조 모달리티가 특징 정제에 필수적임을 입증하였다.