[논문 리뷰] Self-similarity Grouping: A Simple Unsupervised Cross Domain Adaptation Approach for Person Re-identification

Yang Fu, Yunchao Wei외 4명|arXiv (Cornell University)|2018. 11. 26.

Video Surveillance and Tracking Methods참고 문헌 47인용 수 48

한 줄 요약

논문은 Target 도메인에서 글로벌에서 로컬 큐에 이르는 자기 유사성(self-similarity)을 마이닝하고 가짜 라벨을 할당하는 비지도 교차 도메인 적응 방법인 Self-similarity Grouping (SSG)와, 라벨이 제한된 데이터로 학습하는 클러스터링 가이드형 세미-supervised 확장인 SSG++를 제시한다.

ABSTRACT

Domain adaptation in person re-identification (re-ID) has always been a challenging task. In this work, we explore how to harness the natural similar characteristics existing in the samples from the target domain for learning to conduct person re-ID in an unsupervised manner. Concretely, we propose a Self-similarity Grouping (SSG) approach, which exploits the potential similarity (from global body to local parts) of unlabeled samples to automatically build multiple clusters from different views. These independent clusters are then assigned with labels, which serve as the pseudo identities to supervise the training process. We repeatedly and alternatively conduct such a grouping and training process until the model is stable. Despite the apparent simplify, our SSG outperforms the state-of-the-arts by more than 4.6% (DukeMTMC to Market1501) and 4.4% (Market1501 to DukeMTMC) in mAP, respectively. Upon our SSG, we further introduce a clustering-guided semisupervised approach named SSG ++ to conduct the one-shot domain adaption in an open set setting (i.e. the number of independent identities from the target domain is unknown). Without spending much effort on labeling, our SSG ++ can further promote the mAP upon SSG by 10.7% and 6.9%, respectively. Our Code is available at: https://github.com/OasisYang/SSG .

연구 동기 및 목표

• 도메인 간 신원 차이와 라벨링 비용으로 인한 사람 재식별의 비지도 도메인 적응 필요성 제기.
• 글로벌에서 로컬 신체 큐까지의 본질적 Target 도메인 유사성을 활용하여 학습을 위한 가짜 라벨 데이터를 형성.
• 타깃 라벨 없이 표현을 정제하기 위한 반복적인 그룹화 및 학습 절차 제안.
• 한정된 라벨링으로도 거의 완전 지도 성능에 근접하도록 클러스터링 가이드형 세미-지도 확장(SSG++) 도입.

제안 방법

• 소스 데이터셋에서 사전 학습된 ResNet50 백본으로 특징 추출.
• 타깃 특징 맵을 수평으로 전체 신체, 상체, 하체로 나누고 Global Average Pooling을 적용하여 이미지당 세 개의 특징 벡터를 얻음.
• 각 특징 벡터 세트를 클러스터링하여 Self-similarity grouping(세 가지 자체 라벨)을 위한 가짜 라벨 생성.
• 가짜 라벨을 사용한 트립렛 손실로 학습하고 글로벌 및 로컬 표현을 융합하여 최종 테스트.
• 클러스터링 기반의 세미-지도 학습으로 확장하여, 작은 클러스터링 도출 서브셋에 주석을 달고 특징 공간에서 최근접 이웃을 통해 라벨을 전파(세 가지 큐).
• 추가적으로 SSG 및 SSG++ 손실로 함께 학습하여 효율성과 성능 향상 가능(SSG와 SSG++ 손실의 공동 학습).

실험 결과

연구 질문

• RQ1 비라벨 Target 도메인 샘플이 글로벌에서 로컬 큐로의 의미 있는 자기 유사성 그룹화를 드러내어 소스 지도 학습 대비 Target 비지도 성능 차이를 줄일 수 있는가?
• RQ2 클러스터링 가이드형 세미-지도 주석(SSG++)이 개방 세트(Open-set) 시나리오에서 완전 지도 재식별 성능으로의 격차를 더 줄일 수 있는가?
• RQ3 전체 신체, 상체, 하체 큐를 사용하는 것이 클러스터링 품질과 재식별 정확도에 어떤 영향을 미치는가?

주요 결과

• SSG는 직접 전이 및 기존의 UDA 방법 대비 전이 성능을 향상시키며, 예를 들어 DukeMTMC-ReID에서 Market1501로, 또는 그 반대 방향으로의 성능 격차를 줄여준다.
• 클러스터링에 의해 상체와 하체 두 부분을 사용할 때 가장 좋은 결과가 나오며, 비지도 기반 기준선 대비 여러 지표에서 5% 이상 개선이 나타난다.
• 클러스터링 가이드형 세미-지도 학습(SSG++)은 mAP와 rank-1을 상당한 폭으로 더 끌어올리며, 예제 설정에서 최대 ~10%의 mAP 및 ~6-7%의 rank-1 개선 등의 효과를 보인다.
• SSG와 SSG++를 함께 학습하는 것이 단계적 미세 조정(SSG+ 후 SSG)보다 추가 이득을 준다.
• SSG 및 SSG++는 Market1501, DukeMTMC-ReID, MSMT17 전반에서 최첨단 비지도 도메인 적응 방법과 경쟁력 있는 또는 우수한 성능을 달성한다.