[논문 리뷰] Domain Adaptive Attention Learning for Unsupervised Person Re-Identification

Yangru Huang, Peixi Peng외 4명|arXiv (Cornell University)|2019. 05. 25.

Video Surveillance and Tracking Methods참고 문헌 48인용 수 31

한 줄 요약

이 논문은 레이블이 없는 타겟 도메인으로부터의 지식 전이를 가능하게 하기 위해 도메인 공유(DFH) 및 도메인 특화(DSP) 구성요소로 특징 맵을 분리하는 도메인 적응형 어텐션 모델(DAAM)을 제안한다. 이는 레이블이 있는 소스 도메인에서 레이블이 없는 타겟 도메인으로 효과적인 지식 전이를 가능하게 하며, 단일 클래스 분류 기반의 새로운 도메인 유사도 손실과 약한 지도 학습을 위한 가중치가 부여된 교차 엔트로피 손실을 사용하여 Market-1501 및 DukeMTMC-reID 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Person re-identification (Re-ID) across multiple datasets is a challenging task due to two main reasons: the presence of large cross-dataset distinctions and the absence of annotated target instances. To address these two issues, this paper proposes a domain adaptive attention learning approach to reliably transfer discriminative representation from the labeled source domain to the unlabeled target domain. In this approach, a domain adaptive attention model is learned to separate the feature map into domain-shared part and domain-specific part. In this manner, the domain-shared part is used to capture transferable cues that can compensate cross-dataset distinctions and give positive contributions to the target task, while the domain-specific part aims to model the noisy information to avoid the negative transfer caused by domain diversity. A soft label loss is further employed to take full use of unlabeled target data by estimating pseudo labels. Extensive experiments on the Market-1501, DukeMTMC-reID and MSMT17 benchmarks demonstrate the proposed approach outperforms the state-of-the-arts.

연구 동기 및 목표

• 다른 조명, 배경, 이미지 품질을 가진 데이터셋 간의 도메인 분리 문제를 해결하기 위해.
• 타겟 도메인에 애너테이션 데이터가 필요 없이 레이블이 있는 소스 도메인에서 레이블이 없는 타겟 도메인으로 효과적인 지식 전이를 가능하게 하기 위해.
• 전이 가능한 도메인 공유 특징와 함께 도메인 특화 특징를 명시적으로 모델링하여 도메인 간 분리로 인한 부정적 전이를 줄이기 위해.
• 클러스터링 기반의 가짜 레이블 생성과 가중치가 부여된 교차 엔트로피 손실을 활용한 약한 지도 학습을 통해 비지도 도메인 간 Re-ID 성능을 향상시키기 위해.

제안 방법

• 잔차 어텐션 기반 기법을 사용하여 특징 맵을 도메인 공유(DFH) 및 도메인 특화(DSP) 구성요소로 분해하는 새로운 도메인 적응형 어텐션 모델(DAAM)을 도입한다.
• DFH 브랜치는 소스 및 타겟 도메인의 특징를 공통의 명목 도메인으로 투영하여 도메인 간 분리 최소화를 통해 사람 Re-ID를 위한 분류 가능한 표현을 학습한다.
• 단일 클래스 분류 기반의 도메인 유사도 손실을 제안하여 DFH 특징를 도메인 간에 정렬함으로써 도메인 불변 표현 학습을 장려한다.
• 클러스터링을 통해 생성된 가짜 레이블을 사용하여 레이블이 없는 타겟 데이터에 대해 가중치가 부여된 교차 엔트로피 손실을 적용하며, 이는 가짜 레이블에 대한 신뢰도를 반영한다.
• 도메인 특화 손실과 직교 제약 조건을 사용하여 DSP 브랜치가 도메인 특화 특징를 학습함으로써 DFH 및 DSP 특징가 상호 보완적이고 분리 가능하도록 보장한다.
• 전체 모델는 Re-ID, 도메인 유사도, 직교 제약 손실의 공동 최적화를 통해 엔드 투 엔드로 훈련되며, 도메인 분리 상황에서도 견고한 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합적인 딥 러닝 프레임워크가 비지도 도메인 간 사람 Re-ID의 성능 향상을 위해 도메인 공유 및 도메인 특화 특징를 효과적으로 분리할 수 있는가?
• RQ2 타겟 도메인에 레이블 데이터가 없을 경우 도메인 간 분리를 어떻게 줄일 수 있는가?
• RQ3 클러스터링 기반의 가짜 레이블링과 가중치가 부여된 교차 엔트로피가 비지도 Re-ID의 성능 향상에 얼마나 기여하는가?
• RQ4 잔차 구성요소로 도메인 특화 특징를 모델링함으로써 부정적 전이를 방지하고 DFH 특징의 품질을 향상시킬 수 있는가?
• RQ5 수렴하는 데 필요한 클러스터 수 및 훈련 반복 수와 같은 하이퍼파rameter의 변화에 대해 제안된 방법이 얼마나 강인한가?

주요 결과

• Market-1501에서 훈련한 모델이 DukeMTMC-reID에서 mAP 53.1% 및 Rank-1 77.8%를 기록하며 이전 최신 기술 수준의 방법들을 초월한다.
• Market-1501 벤치마크에서 DukeMTMC-reID에서 훈련한 모델이 mAP 48.8% 및 Rank-1 71.3%를 기록하여 강력한 도메인 간 일반화 능력을 입증한다.
• 제거 실험 결과 도메인 유사도 손실(L^DS)을 제거하거나 GRL로 대체할 경우 성능이 유의미하게 저하됨을 확인하여 그 효과를 입증한다.
• 가짜 레이블에 대한 가중치가 부여된 교차 엔트로피 손실은 표준 교차 엔트로피 대비 성능을 12.5% 향상시키며, 신뢰도 기반 학습의 중요성을 강조한다.
• 가짜 레이블 개선을 위한 5회 반복 후 수렴하며, 최적의 클러스터 수는 650으로 확인되었고, 다양한 K 값에서도 강인한 성능을 보였다.
• 시각화 결과는 DFH 맵이 보행자 신체 부위에 집중하는 반면 DSP 맵은 배경 및 도메인 특화 노이즈를 강조함을 확인하여 모델의 분리 능력을 검증한다.