[논문 리뷰] PartMix: Regularization Strategy to Learn Part Discovery for Visible-Infrared Person Re-identification

Minsu Kim, Seungryong Kim외 3명|arXiv (Cornell University)|2023. 04. 04.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 가시광선-적외선 신원 재식별(VI-ReID)를 위한 새로운 데이터 증강 기법인 PartMix를 제안한다. PartMix는 다양한 모odal 간의 부위 기반 기술자(Descriptor)를 혼합하여 부위 인식 능력을 갖춘 증강 샘플을 합성한다. 내부 및 외부 신원 내에서 양성 및 음성 샘플을 생성하고, 엔트로피 기반 샘플 추출 전략을 적용한 대비 학습을 통해 일반화 능력을 크게 향상시켰으며, SYSU-MM01 및 RegDB 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였다.

ABSTRACT

Modern data augmentation using a mixture-based technique can regularize the models from overfitting to the training data in various computer vision applications, but a proper data augmentation technique tailored for the part-based Visible-Infrared person Re-IDentification (VI-ReID) models remains unexplored. In this paper, we present a novel data augmentation technique, dubbed PartMix, that synthesizes the augmented samples by mixing the part descriptors across the modalities to improve the performance of part-based VI-ReID models. Especially, we synthesize the positive and negative samples within the same and across different identities and regularize the backbone model through contrastive learning. In addition, we also present an entropy-based mining strategy to weaken the adverse impact of unreliable positive and negative samples. When incorporated into existing part-based VI-ReID model, PartMix consistently boosts the performance. We conduct experiments to demonstrate the effectiveness of our PartMix over the existing VI-ReID methods and provide ablation studies.

연구 동기 및 목표

• 부분 기반 가시광선-적외선 신원 Re-ID에서 과적합 및 모odal 특화 편향 문제를 해결하기 위해 맞춤형 데이터 증강 전략을 도입한다.
• 모달 간 및 내부에서의 기술자 혼합을 통해 다양한 부위 인식 증강 샘플을 합성함으로써 일반화 능력을 향상시킨다.
• 엔트로피 기반 추출 전략을 통해 대비 학습에서 신뢰도가 떨어지는 양성 및 음성 샘플의 악영향을 줄인다.
• 부분 기반 VI-ReID 모델에서 특징 정렬 및 모달 불변 표현 학습을 향상시킨다.
• 기존 아키텍처 변경 없이 효과적인 정규화를 통해 표준 VI-ReID 벤치마크에서 최신 기술 수준 성능을 달성한다.

제안 방법

• PartMix는 서로 다른 신원 및 동일 신원의 가시광선 및 적외선 이미지에서 얻은 부위 기술자를 혼합하여 증강 샘플을 생성한다.
• 혼합된 부위 기술자를 사용해 양성 및 음성 샘플을 생성함으로써 강력한 특징 학습을 유도한다.
• 합성된 양성 및 음성 쌍을 사용해 백본 모델을 정규화하기 위해 대비 학습을 적용한다.
• 신뢰도 높은 양성 및 음성 샘플을 선택하기 위해 엔트로피 기반 추출 전략을 사용하여 노이즈를 줄이고 학습 안정성을 향상시킨다.
• 기존의 부분 기반 VI-ReID 모델에 아키텍처 변경 없이 통합하여 일반화 능력을 향상시킨다.
• 제안된 방법은 SYSU-MM01 및 RegDB 데이터셋에서 종합 평가되며, 분석 실험을 통해 검증된다.

(a) MixUp [ 71 ]

실험 결과

연구 질문

• RQ1 가시광선 및 적외선 모달 간의 부위 기술자를 혼합하는 것이 신원 Re-ID에서 일반화 능력을 향상시키는가?
• RQ2 PartMix는 MixUp 및 CutMix와 같은 전역 및 국소 이미지 혼합 기법과 비교해 부분 기반 VI-ReID에서 어떻게 성능을 내는가?
• RQ3 엔트로피 기반 추출 전략이 VI-ReID의 대비 학습에서 양성 및 음성 샘플의 신뢰도를 얼마나 향상시키는가?
• RQ4 PartMix는 부분 기반 Re-ID 모델에서 특정 신체 부위나 모달에 대한 과적합을 효과적으로 줄이는가?
• RQ5 아키텍처 수정 없이 PartMix가 표준 VI-ReID 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• SYSU-MM01 데이터셋에서 단일 샘플 전부 검색 모드에서 PartMix는 Rank-1 정확도 77.78% 및 mAP 74.62%를 기록하여 이전 SOTA인 MSCLNet보다 Rank-1에서 0.79% 향상되고 mAP에서 2.98% 향상되었다.
• SYSU-MM01 실내 검색 모드에서 PartMix는 MSCLNet 대비 Rank-1 정확도 3.03% 향상 및 mAP 3.21% 향상되었다.
• RegDB에서 적외선에서 가시광선으로의 전환 모드에서 PartMix는 Rank-1 84.93% 및 mAP 82.52%를 기록하여 MSCLNet보다 Rank-1에서 1.07% 향상되고 mAP에서 4.21% 향상되었다.
• RegDB에서 가시광선에서 적외선으로의 전환 모드에서 PartMix는 Rank-1 85.66% 및 mAP 82.27%를 기록하여 MSCLNet보다 Rank-1에서 1.49% 향상되고 mAP에서 1.28% 향상되었다.
• PartMix는 MixUp, Manifold MixUp 및 CutMix보다 뚜렷한 성능 향상을 보였으며, SYSU-MM01 다중 샘플 전부 검색 모드에서 CutMix 대비 mAP 5.08% 향상되었다.
• 분석 실험 결과, 부위 기술자 혼합 전략과 엔트로피 기반 추출 구성 요소가 성능 향상에 효과적임을 확인하였다.

(b) CutMix [ 70 ]