[논문 리뷰] Style Normalization and Restitution for Generalizable Person Re-identification

Xin Jin, Cuiling Lan외 3명|arXiv (Cornell University)|2020. 05. 22.

Video Surveillance and Tracking Methods참고 문헌 68인용 수 21

한 줄 요약

이 논문은 일반화 가능한 인물 재식별(ReID)을 위한 스타일 정규화 및 복원(SNR) 모듈을 제안한다. 이 모듈은 인스턴스 정규화를 사용해 조명, 색상 등의 스타일 변동을 억제하면서 잔차로부터 신원 관련 특징을 정제하고 복원하여 분류 능력을 유지한다. SNR 모듈은 도메인 일반화 및 비지도 도메인 적응 벤치마크에서 최신 기준 성능을 달성하며, 이전 방법들보다 최대 7.8% 높은 mAP 성능을 기록한다.

ABSTRACT

Existing fully-supervised person re-identification (ReID) methods usually suffer from poor generalization capability caused by domain gaps. The key to solving this problem lies in filtering out identity-irrelevant interference and learning domain-invariant person representations. In this paper, we aim to design a generalizable person ReID framework which trains a model on source domains yet is able to generalize/perform well on target domains. To achieve this goal, we propose a simple yet effective Style Normalization and Restitution (SNR) module. Specifically, we filter out style variations (e.g., illumination, color contrast) by Instance Normalization (IN). However, such a process inevitably removes discriminative information. We propose to distill identity-relevant feature from the removed information and restitute it to the network to ensure high discrimination. For better disentanglement, we enforce a dual causal loss constraint in SNR to encourage the separation of identity-relevant features and identity-irrelevant features. Extensive experiments demonstrate the strong generalization capability of our framework. Our models empowered by the SNR modules significantly outperform the state-of-the-art domain generalization approaches on multiple widely-used person ReID benchmarks, and also show superiority on unsupervised domain adaptation.

연구 동기 및 목표

• 조명 및 색상 대비와 같은 스타일 변동으로 인한 도메인 갭으로 인해 감독형 인물 ReID의 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 신원과 관련 없는 스타일 특징을 필터링하면서도 높은 분류 능력을 유지하기 위해.
• 타겟 도메인 데이터나 레이블에 접근할 필요 없이 즉시 사용 가능한 플러그-앤플레이 모듈을 개발하기 위해.
• 최소한의 아키텍처 변경으로 효과적인 도메인 일반화 및 비지도 도메인 적응을 가능하게 하기 위해.

제안 방법

• 인물 이미지의 조명 및 색상 대비와 같은 스타일 변동을 억제하기 위해 인스턴스 정규화(IN)를 적용한다.
• 정규화된 특징와 원본 특징 간 잔차로부터 신원 관련 특징을 추출하여 정규화 과정에서 손실된 정보를 보완한다.
• 이중 인과 손실을 도입하여 분리 강제: 복원된 특징은 더 분류 능력이 높아지고, 정규화된 특징는 덜 분류 능력이 있도록 한다.
• OSNet과 같은 ReID 백본에 SNR 모듈을 플러그-앤플레이 구성 요소로 통합하여 일반화 능력을 향상시킨다.
• MAR와 같은 적응 전략과 결합하여 SNR 모듈을 비지도 도메인 적응(UDA)의 백본으로 사용한다.
• MSMT17, Market1501, DukeMTMC 및 SYSU-MM01에서의 RGB-적외선 교차 모odal ReID을 포함한 여러 벤치마크에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 스틸 정규화만으로도 신원 분류 능력을 훼손하지 않고 인물 ReID의 일반화 능력을 향상시킬 수 있는가?
• RQ2 스타일 정규화 이후 잔차로부터 효과적으로 신원 관련 특징을 복원할 수 있는가?
• RQ3 이중 인과 손실이 ReID 표현에서 신원 관련 및 무관한 특징을 효과적으로 분리할 수 있는가?
• RQ4 SNR 모듈은 새로운 데이터셋 및 교차 모달 설정을 포함한 다양한 도메인으로 일반화되는가?
• RQ5 SNR은 도메인 일반화 및 비지도 도메인 적응 설정 양쪽 모두에서 성능을 향상시킬 수 있는가?

주요 결과

• SNR 모듈은 최신 기준 도메인 일반화 방법보다 뚜렷이 뛰어나며, Market1501→Duke 및 Duke→Market1501 설정에서 각각 6.9%와 7.8% 높은 mAP 성능을 기록한다.
• PRID, GRID, VIPeR, i-LIDS 벤치마크에서 SNR는 두 번째로 우수한 성능을 기록한 DIMN 대비 mAP를 각각 14.6%, 6.6%, 1.2%, 11.5% 향상시켰다.
• 비지도 도메인 적응을 위해 MAR와 결합한 SNR(Ours)+MAR는 Market1501+Duke(U)→Duke 및 Duke+Market1501(U)→Market1501 설정에서 두 번째로 뛰어난 UDA 방법보다 mAP 성능을 각각 3.8%와 3.4% 높게 기록했다.
• SNR를 강화한 OSNet-SNR 모델은 OSNet-IBN 대비 M→D 및 D→M 설정에서 각각 5.0%와 5.5% 높은 mAP 성능을 기록했다.
• 도전적인 RGB-적외선 교차 모달 ReID 과제(SYSU-MM01)에서 SNR는 네 가지 설정에서 mAP를 8.4%에서 11.5%까지 향상시켜 최신 기준 성능을 달성했다.
• SNR 모듈은 다양한 백본과 설정에서 일관되게 성능 향상을 보이며 강력한 일반화 능력과 내구성을 입증했다.