[논문 리뷰] Multi-Scale Cascading Network with Compact Feature Learning for RGB-Infrared Person Re-Identification

Can Zhang, Hong Liu외 2명|arXiv (Cornell University)|2020. 12. 12.

Video Surveillance and Tracking Methods참고 문헌 23인용 수 8

한 줄 요약

이 논문은 RGB-적외선 신원 재식별을 위한 새로운 경계값 지수 중심(Marginal Exponential Center, MeCen) 손실을 갖는 다중 척도 부분 인식 계단식(Multi-Scale Part-Aware Cascading, MSPAC) 네트워크를 제안한다. 계단식 주의 메커니즘을 통해 다중 척도 부분 특징을 계층적으로 융합하고, MeCen 손실을 통해 모odal 간 불변 클러스터링을 강화함으로써, 공개 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 r=1 조건에서 47.26% mAP를 기록한 SYSU-MM01 데이터셋에서 이전 방법들에 비해 크게 뛰어난 성능을 보였다.

ABSTRACT

RGB-Infrared person re-identification (RGB-IR Re-ID) aims to match persons from heterogeneous images captured by visible and thermal cameras, which is of great significance in the surveillance system under poor light conditions. Facing great challenges in complex variances including conventional single-modality and additional inter-modality discrepancies, most of the existing RGB-IR Re-ID methods propose to impose constraints in image level, feature level or a hybrid of both. Despite the better performance of hybrid constraints, they are usually implemented with heavy network architecture. As a matter of fact, previous efforts contribute more as pioneering works in new cross-modal Re-ID area while leaving large space for improvement. This can be mainly attributed to: (1) lack of abundant person image pairs from different modalities for training, and (2) scarcity of salient modality-invariant features especially on coarse representations for effective matching. To address these issues, a novel Multi-Scale Part-Aware Cascading framework (MSPAC) is formulated by aggregating multi-scale fine-grained features from part to global in a cascading manner, which results in a unified representation containing rich and enhanced semantic features. Furthermore, a marginal exponential centre (MeCen) loss is introduced to jointly eliminate mixed variances from intra- and inter-modal examples. Cross-modality correlations can thus be efficiently explored on salient features for distinctive modality-invariant feature learning. Extensive experiments are conducted to demonstrate that the proposed method outperforms all the state-of-the-art by a large margin.

연구 동기 및 목표

• 어두운 조명 조건에서 RGB 이미지와 적외선 이미지 간 큰 모달 갭을 해결한다.
• 기존 방법에서의 제한된 훈련 데이터와 부족한 모달 간 불변 특징 학습 문제를 해결한다.
• 세분화된 부분 수준 표현을 강화함으로써 특징의 구분 능력과 교차 모달 상관관계를 향상시킨다.
• 다양한 척도에서 국소적으로 두드러진 특징들을 통합하는 통합적이고 계층적인 특징 표현을 개발한다.
• 복잡한 하이브리드 제약 조건에 의존하지 않고도 내부 클래스 변동성과 모달 불일치를 제거하는 새로운 손실 함수를 제안한다.

제안 방법

• 전역 특징을 다중 척도 부분으로 분해하고 각 척도에서 주의 메커니즘을 적용하여 구분 능력이 높은 영역을 강화하는 다중 척도 부분 인식 계단식(MSPAC) 프레임워크를 제안한다.
• 계단식 융합 전략을 사용하여 세분화된 부분 특징을 점진적으로 더 흐린 표현으로 통합함으로써 공간적 구조를 유지하고 의미적 풍부성을 향상시킨다.
• 중심 손실에 마진과 지수 가중치를 조합한 새로운 Marginal Exponential Center (MeCen) 손실을 도입하여 어려운 예제에 대한 제약 강도를 높인다.
• MeCen 손실은 같은 신원의 샘플들이 다양한 모달 간에 더욱 조밀하게 클러스터링되도록 하여 내부 클래스 변동성을 최소화하고 교차 모달 상관관계를 강화한다.
• 전역 평균 풀링과 채널별 주의를 활용하여 각 척도에서 특징를 정밀하게 보정함으로써 자세나 시점 변화에 대한 강건성을 향상시킨다.
• 모델는 MeCen 손실을 통해 엔드 투 엔드로 훈련되어 특징 학습과 모달 간 불변 표현의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 척도, 부분 인식 특징 학습은 RGB-적외선 Re-ID에서 구분 능력 있는 표현을 어떻게 향상시킬 수 있는가?
• RQ2 부분 특징의 계단식 융합은 더 견고하고 통합적인 전역 표현을 이끌 수 있는가?
• RQ3 제안된 MeCen 손실은 표준 중심 손실에 비해 내부 클래스 변동성과 모달 갭을 줄이는 데 얼마나 효과적인가?
• RQ4 MeCen 손실은 제한된 데이터를 가진 RGB-IR Re-ID 벤치마크에서 성능을 얼마나 향상시키는가?
• RQ5 MSPAC와 MeCen 손실의 조합은 복잡한 하이브리드 영상 및 특징 수준 제약 조건이 필요 없어지는가?

주요 결과

• MSPAC-MeCen 모델은 r=1 조건에서 SYSU-MM01 데이터셋에서 47.26% mAP를 달성하여 이전의 모든 최신 기술 수준 방법들을 크게 능가했다.
• 지수 형태(+exp)를 가진 MeCen 손실은 베이스라인 대비 mAP를 6.93%포인트 향상시켜 어려운 예제 탐지에서 강력한 효과를 입증했다.
• MeCen 손실을 적용한 모델은 r=1 정확도 46.62%를 기록하여 상위 1개 검색 성능이 뛰어나다는 것을 보였다.
• t-SNE를 통한 시각화 결과, MeCen 손실이 2차원 공간에서 같은 신원의 특징들이 더욱 조밀하고 모달 간에 강건한 클러스터링을 이끌어낸다는 것을 확인했다.
• MSPAC-MeCen의 주의 맵은 기존 베이스라인 모델 대비 더 높은 집중도를 보이며 구분 능력이 높은 영역(예: 머리, 다리)에 집중하고 배경 잡음에 대한 주의를 줄였다.
• 제거 실험 결과, 마진과 지수 형태를 가진 MeCen 손실이 성능 향상에 필수적임을 확인하였으며, 중심 손실만 사용할 경우 성능 향상이 미미하다는 것을 입증했다.