[논문 리뷰] One Shot Domain Adaptation for Person Re-Identification

Yang Fu, Yunchao Wei외 5명|arXiv (Cornell University)|2018. 11. 26.

Video Surveillance and Tracking Methods인용 수 3

한 줄 요약

이 논문은 자기 유사성 군집화(Self-similarity Grouping, SSG)를 제안하며, 전반적인 및 局부 특징 유사성 기반으로 레이블이 없는 타겟 도메인 샘플을 군집화하여 가짜 정체성을 생성하는 자기지도 학습 도메인 적응 방법이다. 반복적인 군집화 및 훈련을 통해 SSG는 DukeMTMC→Market1501 및 Market1501→DukeMTMC 벤치마크에서 각각 mAP을 4.6%와 4.4% 향상시켰으며, 군집화 가이드된 준지도 학습 변형인 SSG++를 통해 추가로 성능 향상을 이룬다.

ABSTRACT

Domain adaptation in person re-identification (re-ID) has always been a challenging task. In this work, we explore how to harness the natural similar characteristics existing in the samples from the target domain for learning to conduct person re-ID in an unsupervised manner. Concretely, we propose a Self-similarity Grouping (SSG) approach, which exploits the potential similarity (from global body to local parts) of unlabeled samples to automatically build multiple clusters from different views. These independent clusters are then assigned with labels, which serve as the pseudo identities to supervise the training process. We repeatedly and alternatively conduct such a grouping and training process until the model is stable. Despite the apparent simplify, our SSG outperforms the state-of-the-arts by more than 4.6% (DukeMTMC to Market1501) and 4.4% (Market1501 to DukeMTMC) in mAP, respectively. Upon our SSG, we further introduce a clustering-guided semisupervised approach named SSG ++ to conduct the one-shot domain adaption in an open set setting (i.e. the number of independent identities from the target domain is unknown). Without spending much effort on labeling, our SSG ++ can further promote the mAP upon SSG by 10.7% and 6.9%, respectively. Our Code is available at: this https URL .

연구 동기 및 목표

• 레이블이 없는 타겟 도메인 데이터가 존재하는 인식 재정의(person re-identification)에서의 비지도 도메인 적응 문제를 해결하기 위해.
• 레이블이 없는 타겟 샘플 내부의 내재된 유사성 패턴을 활용하여 훈련을 위한 신뢰할 수 있는 가짜 정체성을 자동으로 생성하기 위해.
• 군집화와 모델 개선을 번갈아 수행하는 자기 훈련 프레임워크를 개발하여 안정성과 성능을 향상시키기 위해.
• 타겟 도메인의 정체수를 알 수 없는 개방형 도메인 설정으로 확장하여 실용적인 구현을 가능하게 하기 위해.

제안 방법

• 전신과 국소 부위의 다중 시점 특징을 이용해 레이블이 없는 타겟 샘플을 군집화하는 Self-similarity Grouping(SSG)을 제안하며, 자연스러운 군집을 식별한다.
• 군집 내부의 유사성에 기반해 가짜 정체성을 할당하며, 이를 모델 훈련 중의 감독 신호로 사용한다.
• 반복적인 교차 프로세스를 구현: 현재 모델의 특징을 사용해 샘플을 군집화하고, 생성된 가짜 레이블을 바탕으로 모델을 재학습시킨다.
• 군집화 가이드된 준지도 학습 확장인 SSG++를 도입하여, 개방형 도메인 적응 설정에서 추가적인 약한 레이블 데이터를 통합한다.
• 대비 손실을 사용한 깊이 강화 메트릭 학습을 통해 군집 내외의 특징 구별 능력을 향상시킨다.
• 딥 네URAL 네트워크의 특징 표현을 활용해 동일한 사람의 다양한 시점 간의 효과적인 유사성 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 타겟 샘플 간의 내재된 유사성은 비지도 인식 재정의를 위한 신뢰할 수 있는 가짜 정체성을 생성하는 데 효과적으로 활용될 수 있는가?
• RQ2 레이블이 없는 타겟 데이터가 전혀 없을 때, 반복적인 군집화와 모델 개선이 도메인 적응 성능을 어떻게 향상시킬 수 있는가?
• RQ3 소수의 레이블이 있는 개방형 도메인 적응 설정에서, 군집화 가이드된 준지도 학습 접근법이 성능 향상에 더해질 수 있는가?
• RQ4 전반적 및 국소 시점 특징을 사용할 경우 군집화 품질과 후속 재정의 정확도에 어떤 영향을 미치는가?

주요 결과

• SSG는 최신 기법들과 비교해 DukeMTMC→Market1501 교차 도메인 재정의 벤치마크에서 mAP를 4.6% 향상시켰다.
• SSG는 Market1501→DukeMTMC 설정에서도 mAP를 4.4% 향상시켜 도메인 간 강력한 일반화 능력을 입증했다.
• SSG++는 DukeMTMC→Market1501에서 mAP를 10.7% 향상시키고, Market1501→DukeMTMC에서는 6.9% 향상시켜 준지도 개방형 적응에서의 효과성을 입증했다.
• SSG의 반복적인 자기 훈련 루프는 다양한 실행에서 모델의 안정성과 일관된 성능 향상을 이끌어냈다.
• 전반적 및 국소 시점의 유사성 사용은 군집화 품질과 정체성 식별 능력을 크게 향상시켰다.
• 모델은 타겟 도메인의 정체수를 알 수 없는 경우에도 잘 일반화되어, 개방형 설정에서 요구되는 조건을 충족했다.