[논문 리뷰] Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-Identification

Xing Fan, Hao Luo외 2명|arXiv (Cornell University)|2020. 02. 29.

Video Surveillance and Tracking Methods참고 문헌 53인용 수 14

한 줄 요약

이 논문은 RGB-적외선 신원 재확인에서 다중 스펙트럼 이미지 생성과 双-하위공간 쌍화를 통해 교차 모odal 특징 학습을 향상시키는 one-stream 딥러닝 모델인 Cross-Spectrum Dual-Subspace Pairing (CDP)을 제안한다. 실제와 생성된 샘플을 쌍으로 묶어 모달 간 격차를 줄이고, 합성 다중 스펙트럼 이미지를 생성함으로써 모달 다양성을 증가시켜 CDP는 RegDB 데이터셋에서 순위-1 정확도 65.0%와 mAP 62.7%로 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Due to its potential wide applications in video surveillance and other computer vision tasks like tracking, person re-identification (ReID) has become popular and been widely investigated. However, conventional person re-identification can only handle RGB color images, which will fail at dark conditions. Thus RGB-infrared ReID (also known as Infrared-Visible ReID or Visible-Thermal ReID) is proposed. Apart from appearance discrepancy in traditional ReID caused by illumination, pose variations and viewpoint changes, modality discrepancy produced by cameras of the different spectrum also exists, which makes RGB-infrared ReID more difficult. To address this problem, we focus on extracting the shared cross-spectrum features of different modalities. In this paper, a novel multi-spectrum image generation method is proposed and the generated samples are utilized to help the network to find discriminative information for re-identifying the same person across modalities. Another challenge of RGB-infrared ReID is that the intra-person (images from the same person) discrepancy is often larger than the inter-person (images from different persons) discrepancy, so a dual-subspace pairing strategy is proposed to alleviate this problem. Combining those two parts together, we also design a one-stream neural network combining the aforementioned methods to extract compact representations of person images, called Cross-spectrum Dual-subspace Pairing (CDP) model. Furthermore, during the training process, we also propose a Dynamic Hard Spectrum Mining method to automatically mine more hard samples from hard spectrum based on the current model state to further boost the performance. Extensive experimental results on two public datasets, SYSU-MM01 with RGB + near-infrared images and RegDB with RGB + far-infrared images, have demonstrated the efficiency and generality of our proposed method.

연구 동기 및 목표

• 낮은 조도 조건에서 RGB 및 적외선 이미지 간의 모달 간 격차 문제를 해결하기 위해.
• 스펙트럼 차이로 인해 종종 내부-사람 거리가 외부-사람 거리보다 초과하는 것을 방지하기 위해 공유된 교차 스펙트럼 특징을 학습함으로써 내부-사람 거리를 감소시키기 위해.
• 통합된 one-stream 네트워크 아키텍처를 통해 특징의 밀도와 분류 능력을 향상시키기 위해.
• 모델 상태에 기반해 하드 샘플을 동적으로 채굴함으로써 학습 효율성과 일반화 능력을 향상시키기 위해.
• 교차 스펙트럼 이미지 생성이 모달 간 특징 정렬을 향상시키고 훈련 다양성을 풍부하게 하는 효과를 보여주기 위해.

제안 방법

• 교차 스펙트럼 이미지 생성 방법은 RGB 및 적외선 이미지를 조합하여 다중 스펙트럼 훈련 샘플을 합성함으로써 훈련 중 모달 다양성을 증가시킨다.
• 이중-하위공간 쌍화 전략은 동일한 사람의 다른 스펙트럼에서의 실제 이미지와 생성 이미지를 쌍으로 묶어, 네트워크가 모달 불변 특징에 집중하도록 한다.
• one-stream 컨볼루션 신경망은 이미지 생성 및 쌍화 전략을 통합하여 모달 간에 압축되고 공유되는 표현을 학습한다.
• 동적 하드 스펙트럼 채굴은 현재 모델 성능에 기반해 하드 샘플을 자동으로 식별하고 우선순위를 정함으로써 특징의 분류 능력을 향상시킨다.
• 모델는 t-SNE 시각화를 통해 특징 임bedding을 최적화하기 위해 PK 샘플링 전략과 트리플릿 손실 함수를 사용한다.
• 이 방법은 공개 데이터셋에서 엔드 투 엔드로 훈련되며, RGB 채널의 균일성의 필요성을 검증하기 위한 분석 연구가 수행되었다. YUV 및 HSV와 같은 대체 색상 공간은 사전 훈련의 부적합성과 채널 이질성으로 인해 실패함을 확인하였다.

실험 결과

연구 질문

• RQ1 다중 스펙트럼 이미지 생성이 훈련 모달 다양성을 증가시켜 RGB-적외선 신원 재확인에서 특징 학습을 향상시킬 수 있는가?
• RQ2 모달 불변 특징에 집중함으로써 이중-하위공간 쌍화가 내부-사람 거리를 효과적으로 감소시키는가?
• RQ3 더 단순한 훈련 방식을 통해 이중 스트림 또는 이중 단계 방법보다 one-stream 네트워크 아키텍처가 교차 모달 ReID에서 우월한 성능을 낼 수 있는가?
• RQ4 모델 상태에 적응하면서 훈련 도중 하드 샘플을 동적으로 채굴함으로써 동적 하드 스펙트럼 채굴 전략이 모델 일반화 능력을 향상시키는가?
• RQ5 왜 YUV 및 HSV와 같은 대체 색상 공간은 이 교차 스펙트럼 프레임워크에서 수렴하지 못하는가?

주요 결과

• RegDB 데이터셋에서 제안된 CDP 모델은 순위-1 정확도 65.0%와 mAP 62.7%를 달성하여 이전 최신 기준 성능(SOTA)인 50.9%와 47.0%보다 유의미하게 향상되었다.
• SYSU-MM01 데이터셋에서 CDP는 순위-1 정확도 36.2%와 mAP 37.5%를 기록하여 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• t-SNE 시각화 결과 CDP는 동일한 사람의 다중 스펙트럼 이미지를 하나의 특징 분포로 매핑하여 내부-사람 거리를 감소시키고 외부-사람 간 분離도를 증가시킴을 확인하였다.
• 분석 연구 결과 RGB 대신 YUV 또는 HSV 색상 공간을 사용할 경우 채널 이질성과 사전 훈련의 부적합성로 인해 훈련이 실패함을 확인하였다.
• 교차 스펙트럼 이미지 생성 방법은 모달 수가 증가할수록 성능 향상을 보이며, 더 풍부한 스펙트럼 다양성이 특징 학습을 향상시킴을 시사한다.
• 동적 하드 스펙트럼 채굴 전략은 모델의 현재 상태에 적응하고 도전적인 샘플에 집중함으로써 성능 향상을 효과적으로 향상시킨다.