[논문 리뷰] DF^2AM: Dual-level Feature Fusion and Affinity Modeling for RGB-Infrared Cross-modality Person Re-identification

Junhui Yin, Zhanyu Ma외 4명|arXiv (Cornell University)|2021. 04. 01.

Video Surveillance and Tracking Methods참고 문헌 44인용 수 8

한 줄 요약

이 논문은 RGB-적외선 인물 재식별을 위한 이중 수준 특징 융합 및 친화도 모델링 프레임워크인 DF²AM을 제안한다. 국소적 및 전역적 주의 메커니즘을 통합하여 분류 가능한 특징 학습을 향상시키며, 내부 클래스의 밀도와 외부 클래스의 분리도를 활용하여 교차 모odal 매칭을 향상시키는 친화도 모델링 모듈을 도입하여 SYSU-MM01 및 RegDB 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

RGB-infrared person re-identification is a challenging task due to the intra-class variations and cross-modality discrepancy. Existing works mainly focus on learning modality-shared global representations by aligning image styles or feature distributions across modalities, while local feature from body part and relationships between person images are largely neglected. In this paper, we propose a Dual-level (i.e., local and global) Feature Fusion (DF^2) module by learning attention for discriminative feature from local to global manner. In particular, the attention for a local feature is determined locally, i.e., applying a learned transformation function on itself. Meanwhile, to further mining the relationships between global features from person images, we propose an Affinities Modeling (AM) module to obtain the optimal intra- and inter-modality image matching. Specifically, AM employes intra-class compactness and inter-class separability in the sample similarities as supervised information to model the affinities between intra- and inter-modality samples. Experimental results show that our proposed method outperforms state-of-the-arts by large margins on two widely used cross-modality re-ID datasets SYSU-MM01 and RegDB, respectively.

연구 동기 및 목표

• 인물 재식별에서 RGB 이미지와 적외선 이미지 간의 큰 교차 모달 차이를 해결하기 위해.
• 사람 이미지에서 국소적 및 전역적 분류 가능한 신호를 함께 모델링하여 특징 표현을 향상시키기 위해.
• 내부 클래스의 밀도와 외부 클래스의 분리도를 활용해 사람 이미지 간 관계를 모델링함으로써 매칭의 강건성을 향상시키기 위해.
• 막힘, 시점 변화, 배경 혼잡성과 같은 내부 클래스 변형의 영향을 줄이기 위해.
• 기준 RGB-적외선 재식별 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이중 수준 특징 융합(DF²) 모듈은 국소적 및 전역적 시야를 통합하여 분류 가능한 특징에 대한 주의를 학습한다: 국소적 주의는 각 국소적 특징에 대한 학습된 변환을 통해 계산되며, 전역적 주의는 파트 수준 특징을 요약하기 위해 전역 평균 풀링을 사용한다.
• 친화도 모델링(AM) 모듈은 샘플 유사도에서 내부 클래스의 밀도와 외부 클래스의 분리도를 감독 신호로 사용하여 최적의 내부 및 교차 모달 이미지 매칭을 추론한다.
• AM 모듈은 이웃 추론 기반의 구조적 정보가 쌍별 관계에 따라 각 샘플이 이웃으로 전파되도록 하여, 누락되거나 막힌 특징에 대한 강건성을 향상시킨다.
• 이 방법은 다중 척도 특징 분할 전략을 사용하며, 특징 맵을 네 개의 수평 부분으로 나누었을 때 최적의 성능을 달성한다.
• 친화도 모델링을 안내하기 위해 새로운 손실 함수 ℒ_A 가 도입되었으며, 이는 초기 국소 최소점에 수렴하는 것을 방지하고 유사도 학습을 향상시킨다.
• 하이퍼파ram터 λ 및 ζ 는 DF² 모듈과 베이스라인 간의 균형을 맞추며, 최적 값은 λ=1.1 및 ζ=1.5 로 발견되었다.

실험 결과

연구 질문

• RQ1 교차 모달 인물 재식별에서 국소적 및 전역적 특징 표현을 효과적으로 융합하여 분류 가능한 특징 학습을 향상시킬 수 있는가?
• RQ2 내부 클래스의 밀도와 외부 클래스의 분리도를 통해 사람 이미지 간의 관계를 모델링하면 정확도가 향상되는가?
• RQ3 특징 맵을 분할할 때 최적의 특징 파트 수는 얼마인가? 이를 통해 분류 능력을 극대화할 수 있는가?
• RQ4 다양한 손실 함수와 하이퍼파ram터는 제안된 방법의 성능에 어떤 영향을 미치는가?
• RQ5 상호 이웃 추론 통합이 막힘과 외관 변화에 대한 강건성을 향상시키는가?

주요 결과

• 제안된 DF²AM 방법은 실내 검색 모드에서 SYSU-MM01 데이터셋에서 71.52% mAP를 달성하여 이전 최신 기술 수준 방법들을 크게 능가한다.
• RegDB 데이터셋에서 이 방법은 최신 기술 수준의 성능을 달성하여 다양한 교차 모달 벤치마크에서 강력한 일반화 능력을 보여준다.
• 제거 실험 결과, DF² 및 AM 모듈 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 떨어진다.
• 특징 맵 분할에 대한 최적의 파트 수는 네 개이며, 이는 SYSU-MM01에서 최고의 mAP 71.52% 를 기록한다.
• 친화도 모델링 손실 ℒ_A 는 ℒ₁ 만을 사용할 때보다 mAP 를 2.00 포인트 향상시켜 국소 최소점 회피에 효과적임을 입증한다.
• 하이퍼파ram터 튜닝 결과, λ=1.1 및 ζ=1.5 가 최적 성능을 내며, 이 값 이상일 경우 정확도가 감소함을 확인하였다.