[논문 리뷰] Cross-modality Person re-identification with Shared-Specific Feature Transfer

Yan Lu, Yue Wu외 5명|arXiv (Cornell University)|2020. 02. 28.

Video Surveillance and Tracking Methods참고 문헌 51인용 수 23

한 줄 요약

이 논문은 유사도 기반 특징 전달을 통해 모odal 공유 및 모달 고유 특징을 동시에 활용하는 새로운 교차 모달 인물 재식별 방법인 cm-SSFT를 제안한다. 상호 및 내부 모달 이웃 유사도를 모델링하여 RGB 및 적외선 모달 간에 보완 정보를 전파함으로써, SYSU-MM01과 RegDB에서 각각 22.5% 및 19.3%의 mAP 향상을 이끌어내어 최신 기술 수준을 초월한다.

ABSTRACT

Cross-modality person re-identification (cm-ReID) is a challenging but key technology for intelligent video analysis. Existing works mainly focus on learning common representation by embedding different modalities into a same feature space. However, only learning the common characteristics means great information loss, lowering the upper bound of feature distinctiveness. In this paper, we tackle the above limitation by proposing a novel cross-modality shared-specific feature transfer algorithm (termed cm-SSFT) to explore the potential of both the modality-shared information and the modality-specific characteristics to boost the re-identification performance. We model the affinities of different modality samples according to the shared features and then transfer both shared and specific features among and across modalities. We also propose a complementary feature learning strategy including modality adaption, project adversarial learning and reconstruction enhancement to learn discriminative and complementary shared and specific features of each modality, respectively. The entire cm-SSFT algorithm can be trained in an end-to-end manner. We conducted comprehensive experiments to validate the superiority of the overall algorithm and the effectiveness of each component. The proposed algorithm significantly outperforms state-of-the-arts by 22.5% and 19.3% mAP on the two mainstream benchmark datasets SYSU-MM01 and RegDB, respectively.

연구 동기 및 목표

• RGB에서의 색상이나 적외선에서의 열화상과 같은 구분 가능한 모달 고유 특징을 버리는 교차 모달 인물 재식별에서의 모달 공유 특징 학습의 한계를 해결한다.
• 유사도 기반 정보 전파를 통해 생성 모델의 모호성과 불안정성을 해결하여 누락된 모달 고유 특징을 보완한다.
• 공유 및 고유 특징을 효과적으로 융합하여 특징의 구분 능력과 내성 강도를 향상시키는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• 보조 데이터가 제한되거나 없을 수 있는 저자료 또는 단일 쿼리 시나리오에서도 효과적인 특징 학습을 가능하게 한다.

제안 방법

• 공유 특징을 기반으로 내부 및 교차 모달 샘플 간의 유사도를 모델링하여 모달 간 및 내부에서 정보 전달을 수행하는 공유-특수 특징 전달(SSTN) 모듈을 도입한다.
• 특징 전달을 위해 k-최근접 이웃 전략을 사용하여 각 샘플이 양 모달의 이웃으로부터 보완적인 단서를 받을 수 있도록 보장한다.
• 모달 적응, 프로젝션 적대적 학습 및 재구성 강화를 조합한 보완적 특징 학습 전략을 설계하여 각 모달의 구분 가능한 및 보완적인 특징을 추출한다.
• 재구성 디코더를 구현하여 공유 및 고유 특징의 독창성을 시각화하고 검증함으로써 그 보완성의 타당성을 확인한다.
• 특징 표현 향상을 위해 트리플릿 손실과 재구성 손실을 조합한 공동 손실을 사용하여 cm-SSFT 프레임워크를 엔드 투 엔드로 학습한다.
• 보조 데이터가 적은 상황에서도 안정성을 확보하기 위해 SSTN을 단일 쿼리 시나리오에 적응시키며, 쿼리의 영향력을 강화함으로써 높은 성능 유지

실험 결과

연구 질문

• RQ1 교차 모달 인물 재식별에서 상호 및 내부 모달 유사도를 함께 모델링하면 특징 전달 및 표현에 도움이 되는가?
• RQ2 유사도 기반 전파를 통해 모달 고유 특징을 통합하면 기존의 모달 공유 특징 학습 방식을 능가하는가?
• RQ3 보완적 학습 전략은 공유 및 고유 구성 요소에서 구분 가능한 비중복 특징을 효과적으로 추출할 수 있는가?
• RQ4 보조 데이터가 부족한 저자료 또는 단일 쿼리 실세계 시나리오에서 제안된 방법의 강건성은 어떠한가?
• RQ5 최신 기술 수준의 방법과 비교해 볼 때 제안된 특징 전달 메커니즘이 특징의 구분 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 cm-SSFT 방법은 SYSU-MM01 벤치마크에서 최신 기술 수준 대비 22.5%의 mAP 향상을 이끌어내며 기존 방법들을 크게 앞서간다.
• RegDB 데이터셋에서는 19.3%의 mAP 향상을 달성하여 다양한 교차 모달 설정에서 강력한 일반화 능력을 보여준다.
• SYSU-MM01에서 랭크-1 정확도가 19.2% 향상되었고, RegDB에서는 14.4% 향상되어 구분 능력 향상을 확인한다.
• 데이터 증강 없이도 최신 기술 수준의 성능를 달성하였으며, SYSU-MM01과 RegDB에서 각각 10.0% 및 4.3%의 랭크-1 정확도 향상을 기록하여 내재적 효과성을 입증한다.
• 시각화 결과는 공유 및 고유 특징이 보완적임을 확인한다: 공유 특징은 구조적 일관성을 유지하고, 고유 특징은 색상이나 열화상 패턴과 같은 모달 고유의 세부 정보를 포착한다.
• 단일 쿼리 시나리오에서도 유사도 행렬을 안정화시킴으로써 높은 성능 유지를 유지하며, 보조 정보가 제한된 상황에서도 최신 기술 수준 및 기준 모델을 능가하는 결과를 도출한다.