[논문 리뷰] SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification

Haojie Liu, Shun Ma외 2명|arXiv (Cornell University)|2021. 02. 24.

Video Surveillance and Tracking Methods참고 문헌 18인용 수 6

한 줄 요약

이 논문은 RGB 입력을 회색조 스펙트럼 이미지로 대체하여 모odal 차이를 줄이고 구조적 세부 정보를 유지하면서 가시-적외선 인물 재식별을 위한 스펙트럼 인지 특징 증강 네트워크인 SFANet을 제안한다. 파rameter 공유 이중 경로 백본, 이중 방향 삼중 제약 상위 푸시 랭킹 손실, 배치 정규화를 적용한 이중 선형 ID 임베딩을 통합함으로써 SFANet는 SYSU-MM01 및 RegDB에서 최신 기술 수준의 성능을 달성하였으며, 각각 Rank-1 정확도 89.7%와 74.8%를 기록하였다.

ABSTRACT

Visible-Infrared person re-identification (VI-ReID) is a challenging matching problem due to large modality varitions between visible and infrared images. Existing approaches usually bridge the modality gap with only feature-level constraints, ignoring pixel-level variations. Some methods employ GAN to generate style-consistent images, but it destroys the structure information and incurs a considerable level of noise. In this paper, we explicitly consider these challenges and formulate a novel spectrum-aware feature augementation network named SFANet for cross-modality matching problem. Specifically, we put forward to employ grayscale-spectrum images to fully replace RGB images for feature learning. Learning with the grayscale-spectrum images, our model can apparently reduce modality discrepancy and detect inner structure relations across the different modalities, making it robust to color variations. In feature-level, we improve the conventional two-stream network through balancing the number of specific and sharable convolutional blocks, which preserve the spatial structure information of features. Additionally, a bi-directional tri-constrained top-push ranking loss (BTTR) is embedded in the proposed network to improve the discriminability, which efficiently further boosts the matching accuracy. Meanwhile, we further introduce an effective dual-linear with batch normalization ID embedding method to model the identity-specific information and assits BTTR loss in magnitude stabilizing. On SYSU-MM01 and RegDB datasets, we conducted extensively experiments to demonstrate that our proposed framework contributes indispensably and achieves a very competitive VI-ReID performance.

연구 동기 및 목표

• 가시 이미지와 적외선 이미지 간의 큰 모달 차이를 해결하기 위해.
• GAN 기반 이미지 생성에 의존하지 않고도 구조적 세부 정보를 왜곡 없이 교차 모달 차이를 줄이기 위해.
• 특징 수준과 분류기 수준에서 강력한 감독을 통해 특징의 구분 능력을 향상시키기 위해.
• 파라미터 공유 이중 경로 잔차 네트워크 아키텍처를 사용하여 공간적 구조 정보를 유지하기 위해.
• 이중 선형 ID 임베딩에 배치 정규화를 도입하여 학습 안정성과 정체성 표현을 향상시키기 위해.

제안 방법

• 이 방법은 가시 이미지의 전체 구조적 정보를 유지하면서도 적외선 이미지 스타일을 근사하기 위해 회색조 스펙트럼 이미지를 특징 증강 전략으로 도입한다.
• 모드 간 공간적 구조 정보를 유지하기 위해 파라미터 공유 이중 경로 잔차 네트워크를 사용한다.
• 이중 방향 삼중 제약 상위 푸시 랭킹(BTTR) 손실을 제안하여 가시 및 적외선 스트림 양쪽에서 하드 양성 및 하드 음성 샘플을 동시에 최적화한다.
• 학습 안정성 향상과 정체성 특화 특징 학습 강화를 위해 이중 선형 ID 임베딩에 배치 정규화를 도입한다.
• 다양한 정체성 샘플링을 보장하기 위해 미니배치당 PK 샘플링 전략을 사용하여 일반화 능력을 향상시킨다.
• 엔드 투 엔드로 최적화된 프레임워크로 정체성 손실과 BTTR 손실을 함께 사용하여 강력한 교차 모달 특징 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 회색조 스펙트럼 이미지 증강 전략은 구조적 세부 정보를 왜곡하지 않으면서도 가시-적외선 인물 재식별에서 모달 차이를 효과적으로 줄일 수 있는가?
• RQ2 파라미터 공유 이중 경로 네트워크 아키텍처는 교차 모달 특징 학습에서 공간적 구조를 어떻게 향상시키는가?
• RQ3 기본 삼중 제약 손실 대비 이중 방향 삼중 제약 상위 푸시 랭킹 손실은 특징의 구분 능력을 어느 정도 향상시키는가?
• RQ4 배치 정규화를 적용한 이중 선형 ID 임베딩은 VI-ReID에서 학습 안정성과 정체성 표현을 향상시키는가?
• RQ5 제안된 방법은 GAN 기반 이미지 번역 접근법에 비해 특징 품질과 정확도 측면에서 어떻게 비교되는가?

주요 결과

• SYSU-MM01 데이터셋에서 SFANet는 Rank-1 정확도 89.7%와 mAP 74.8%를 기록하여 이전 최신 기술 수준의 방법들을 초월하였다.
• RegDB 데이터셋에서 모델는 Rank-1 정확도 74.8%와 mAP 67.5%를 달성하여 도메인 간 강력한 일반화 능력을 보였다.
• 제거 분석 결과, 회색조 스펙트럼 증강 전략이 모달 차이를 크게 줄이고 특징의 밀도를 향상시킨다는 것이 확인되었다.
• 하드 마이닝을 적용한 BTTR 손실은 표준 삼중 제약 변종보다 높은 성능을 기록하였으며, tri-hard 변종을 사용할 경우 SYSU-MM01에서 62.45%의 Rank-1 정확도를 달성하였다.
• ID 임베딩 레이어에 배치 정규화를 통합함으로써 학습이 안정화되고 손실 곡선이 매끄러워지며 최적화 수렴성이 향상되었다.
• 시각화 결과는 모델이 색상과 구조적 변화가 큰 경우에도 정확한 정체성을 검색할 수 있음을 보여주며, 색상 및 구조적 변화에 대한 강건성을 입증하였다.