[논문 리뷰] DEX: Domain Embedding Expansion for Generalized Person Re-identification

Eugene P.W. Ang, Shan Lin외 1명|arXiv (Cornell University)|2021. 10. 21.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 훈련 중에 사람과 도메인 레이블을 모두 활용하여 딥 특징을 동적으로 증강함으로써 사람 재식별에서 도메인 일반화를 향상시키는 도메인 임베딩 확장 모듈 DEX를 제안한다. DEX는 미세조정 없이도 예측되지 않은 도메인 간 일반화를 향상시키며, 모든 대규모 벤치마크에서 최신 기술을 초월한다. 또한 메모리 제약 조건이 있는 환경에서 효율적인 훈련을 가능하게 하는 DEXLite를 제공한다.

ABSTRACT

In recent years, supervised Person Re-identification (Person ReID) approaches have demonstrated excellent performance. However, when these methods are applied to inputs from a different camera network, they typically suffer from significant performance degradation. Different from most domain adaptation (DA) approaches addressing this issue, we focus on developing a domain generalization (DG) Person ReID model that can be deployed without additional fine-tuning or adaptation. In this paper, we propose the Domain Embedding Expansion (DEX) module. DEX dynamically manipulates and augments deep features based on person and domain labels during training, significantly improving the generalization capability and robustness of Person ReID models to unseen domains. We also developed a light version of DEX (DEXLite), applying negative sampling techniques to scale to larger datasets and reduce memory usage for multi-branch networks. Our proposed DEX and DEXLite can be combined with many existing methods, Bag-of-Tricks (BagTricks), the Multi-Granularity Network (MGN), and Part-Based Convolutional Baseline (PCB), in a plug-and-play manner. With DEX and DEXLite, existing methods can gain significant improvements when tested on other unseen datasets, thereby demonstrating the general applicability of our method. Our solution outperforms the state-of-the-art DG Person ReID methods in all large-scale benchmarks as well as in most the small-scale benchmarks.

연구 동기 및 목표

• 예측되지 않은 카메라 네트워크에 배포될 때 감독형 사람 재식별 모델의 일반화 부족 문제를 해결한다.
• 목표 도메인 데이터에 대한 미세조정이나 적응을 필요로 하지 않는 도메인 일반화 솔루션을 개발한다.
• 훈련 중에 도메인 다양체를 통해 특징를 암묵적으로 투영하여 사람 ReID 모델의 도메인 이동에 대한 강건성을 향상시킨다.
• 메모리 사용을 줄임으로써 대규모 데이터셋과 다중브랜치 아키텍처로의 확장성을 보장한다.
• 기존 최신 기술 아키텍처(MGN, PCB, BagTricks 등)와 호환되는 즉시 사용 가능한 모듈을 제공한다.

제안 방법

• DEX는 훈련 중에 사람과 도메인 레이블을 활용하여 도메인-세분화 증강을 생성함으로써 딥 특징을 동적으로 조작한다.
• 레이블 정보를 활용하여 특징 공간 확장을 유도함으로써 특징를 도메인 다양체를 통해 암묵적으로 투영한다.
• 특징 분리와 도메인 불변성을 향상시키기 위해 인스턴스 정규화와 학습 가능한 투영 헤드를 적용한다.
• DEXLite는 전체 계산 대신 음성 샘플링을 적용하여 메모리 소비를 줄인다.
• 음성 샘플링 전략은 DEXLite가 대규모 데이터셋과 MGN, PCB와 같은 다중브랜치 모델로 확장될 수 있도록 한다.
• DEX와 DEXLite는 기존 모델과의 통합을 위해 즉시 사용 가능한 방식으로 통합되며, 아키텍처나 손실 함수 수정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 사람과 도메인이라는 이중 레이블에 의해 유도된 딥 특징 증강이 예측되지 않은 도메인 간 사람 재식별의 일반화를 향상시킬 수 있는가?
• RQ2 목표 데이터에 대한 적응이나 미세조정 없이 DEX가 도메인 이동을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 메모리 효율적인 변형인 DEXLite가 대규모 데이터셋과 다중브랜치 아키텍처로 확장되면서 성능를 유지할 수 있는가?
• RQ4 DEX가 MGN, PCB, BagTricks와 같은 다양한 최신 기술 모델에서 일관되게 성능 향상을 이룰 수 있는가?
• RQ5 DEXLite의 성능와 계산 비용을 균형 잡기 위해 최적의 음성 샘플 크기는 얼마인가?

주요 결과

• ResNet-50 백본과 인스턴스 정규화를 사용한 DEX는 모든 대규모 벤치마크에서 최신 기술 도메인 일반화 방법을 초월한다: Market-1501 (81.5% mAP), DukeMTMC-reID (72.7% mAP), MSMT17_V2 (34.3% mAP), CUHK-NP (43.5% mAP).
• MGN과 PCB에 적용했을 때 DEX는 모든 벤치마크에서 mAP를 2.8–4.6%포인트 향상시켜 아키텍처 간 일관된 성능 향상을 입증한다.
• DEXLite는 오직 2,000개의 음성 샘플만으로도 전체 DEX와 유사한 성능를 달성하며, 메모리 사용량과 훈련 시간을 크게 줄였다.
• 소규모 벤치마크에서 DEXLite는 상위 성능를 기록한 방법과 유사하거나 이를 초월하며, DukeMTMC-reID에서 최대 4.6% 향상되고 CUHK-NP에서 2.3% 향상되었다.
• 절단 분석 결과 2,000개의 음성 샘플을 초과하면 성능가 포화 상태에 도달함을 확인하여 DEXLite의 샘플링 전략의 효율성을 입증한다.
• DEX와 DEXLite는 아키텍처 변경 없이도 다양한 최신 기술 모델에서 성능 향상을 이끌 수 있는 보편적인 즉시 사용 가능한 모듈로 적용 가능하다.