[논문 리뷰] Dual Gaussian-based Variational Subspace Disentanglement for Visible-Infrared Person Re-Identification

Nan Pu, Wei Chen외 3명|arXiv (Cornell University)|2020. 08. 06.

Video Surveillance and Tracking Methods참고 문헌 52인용 수 6

한 줄 요약

이 논문은 가시광선-적외선 신원 재식별(VI-ReID)을 위한 이중 가우시안 기반 변분 오토인코더(DG-VAE)를 제안한다. 이는 신원을 구분할 수 있는(IDI) 및 신원을 애매하게 하는(IAI) 특징을 분리한다. IDI는 혼합 가우시안 사전분포, IAI는 표준 가우시안 사전분포로 모델링하고, 삼중조합 교환 복원 전략을 사용함으로써, 두 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. SYSU-MM01에서 mAP가 13.05% 향상되었고, RegDB에서 10.86% 향상되었다.

ABSTRACT

Visible-infrared person re-identification (VI-ReID) is a challenging and essential task in night-time intelligent surveillance systems. Except for the intra-modality variance that RGB-RGB person re-identification mainly overcomes, VI-ReID suffers from additional inter-modality variance caused by the inherent heterogeneous gap. To solve the problem, we present a carefully designed dual Gaussian-based variational auto-encoder (DG-VAE), which disentangles an identity-discriminable and an identity-ambiguous cross-modality feature subspace, following a mixture-of-Gaussians (MoG) prior and a standard Gaussian distribution prior, respectively. Disentangling cross-modality identity-discriminable features leads to more robust retrieval for VI-ReID. To achieve efficient optimization like conventional VAE, we theoretically derive two variational inference terms for the MoG prior under the supervised setting, which not only restricts the identity-discriminable subspace so that the model explicitly handles the cross-modality intra-identity variance, but also enables the MoG distribution to avoid posterior collapse. Furthermore, we propose a triplet swap reconstruction (TSR) strategy to promote the above disentangling process. Extensive experiments demonstrate that our method outperforms state-of-the-art methods on two VI-ReID datasets.

연구 동기 및 목표

• 가시광선과 적외선 모odal 간 고유한 스펙트럼 차이로 인해 발생하는 가시광선-적외선 신원 재식별(VI-ReID)의 다중모odal 변동성 문제를 해결한다.
• 기본 VAE가 다중모달 설정에서 신원 내 변동성과 클래스 간 분리성 모델링에 한계를 보이는 것을 극복한다.
• 신원을 구분할 수 있는 특징(IDI)과 신원을 애매하게 하는 특징(IAI)을 분리하여 정확도와 내성 강도를 향상시킨다.
• 후행 붕괴를 방지하기 위해 감독 설정 하에서 혼합 가우시안 사전분포에 대한 이론적으로 탄탄한 변분 추론 프레임워크를 개발한다.
• 분리 과정과 표현 학습 중 신원 일관성을 강화하기 위해 삼중조합 교환 복원(TSR) 전략을 도입한다.

제안 방법

• 신원을 구분할 수 있는 특징(IDI)에 대해 혼합 가우시안(MoG) 사전분포, 신원을 애매하게 하는 특징(IAI)에 대해 표준 가우시안 사전분포를 사용하는 이중 가우시안 기반 VAE(DG-VAE)를 설계한다.
• MoG 사전분포는 각 신원에 대해 고유한 가우시안 성분을 할당하여 신원 내 변동성을 모델링하고, 클래스 간 분리성을 향상시킨다.
• 감독 학습 하에서 MoG 사전분포에 대한 두 가지 변분 추론 항을 유도하여 학습 안정성과 후행 붕괴 방지를 도모한다.
• 삼중조합 교환 복원(TSR) 전략을 구현하여, (기준, 양성, 음성)의 교환된 삼중조합에서 특징을 복원함으로써 신원 일관성 있는 특징 학습을 강화한다.
• 원본 이미지가 아닌 특징 맵을 복원하여 계산 비용을 줄이고 일반화 성능을 향상시키며, 성능 저하를 최소화한다.
• 재구성된 특징 맵을 평가하기 위해 PatchGAN 판별자를 사용하지만, 최종 모델에서는 판별자에 대해 이진 교차 엔트로피 손실을 적용하지 않는다.

실험 결과

연구 질문

• RQ1 이중 가우시안 사전분포 구조가 다중모달 신원 재식별에서 신원을 구분할 수 있는 특징와 신원을 애매하게 하는 특징를 효과적으로 분리할 수 있는가?
• RQ2 표준 가우시안 사전분포와 비교해 혼합 가우시안 사전분포로 IDI를 모델링할 경우, 클래스 내 응집성과 클래스 간 분리성은 어떻게 향상되는가?
• RQ3 제안된 삼중조합 교환 복원(TSR) 전략이 VI-ReID에서 신원 일관성과 성능 향상에 얼마나 기여하는가?
• RQ4 왜 이 분리 프레임워크에서 이미지 복원보다 특징 맵 복원이 더 효과적이고 효율적인가?
• RQ5 유도된 MoG 사전분포용 변분 추론 항은 감독 기반 VI-ReID에서 후행 붕괴를 어떻게 방지하고 분리 효율을 향상시키는가?

주요 결과

• DG-VAE 모델은 베이스라인 대비 SYSU-MM01 데이터셋에서 mAP가 13.05% 향상되어 다중모달 변동성에 대한 강력한 내성 강도를 입증한다.
• RegDB 데이터셋에서도 모델은 베이스라인 대비 mAP를 10.86% 향상시켜 도전적인 다중모달 불일치를 효과적으로 다루는 것을 확인한다.
• MoG 사전분포는 잠재 공간에서 더 큰 클래스 간 거리 간격과 더 응집된 클래스 내 클러스터를 보여주며 특징 분리 성능을 크게 향상시킨다.
• 삼중조합 교환 복원(TSR) 전략은 효과적으로 신원 일관성 있는 특징 학습을 촉진하여 두 데이터셋 모두에서 성능 향상을 이룬다.
• 원본 이미지가 아닌 특징 맵을 복원함으로써 모델 파라미터를 절반으로 줄이고 FLOPs를 80% 감소시키며 경쟁력 있는 성능를 유지한다.
• 제안된 MoG 기반 변분 추론 항은 후행 붕괴를 성공적으로 방지하고 안정적인 학습 및 향상된 분리 효율성을 가능하게 한다.