[논문 리뷰] When Person Re-identification Meets Changing Clothes

Fangbin Wan, Yang Wu외 3명|arXiv (Cornell University)|2020. 03. 09.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 8

한 줄 요약

이 논문은 사람 재식별(ReID)에서 의류 일관성 문제에 대한 첫 번째 체계적 연구를 제안하며, 실제 3일, 4대의 카메라로 구성된 데이터셋(Real28)과 GTA5를 활용해 생성한 대규모 합성 데이터셋(VC-Clothes)을 소개한다. 기존 ReID 모델이 의류 일관성 문제에서 성능이著しく 떨어지는 것으로 밝혀졌으며, VC-Clothes 합성 데이터로의 미세조정이 실제 의류 변화가 있는 ReID에서 성능을 향상시켜 Real28에서 R@1 11.0%와 mAP 10.6%를 달성함을 보여준다.

ABSTRACT

Person re-identification (ReID) is now an active research topic for AI-based video surveillance applications such as specific person search, but the practical issue that the target person(s) may change clothes (clothes inconsistency problem) has been overlooked for long. For the first time, this paper systematically studies this problem. We first overcome the difficulty of lack of suitable dataset, by collecting a small yet representative real dataset for testing whilst building a large realistic synthetic dataset for training and deeper studies. Facilitated by our new datasets, we are able to conduct various interesting new experiments for studying the influence of clothes inconsistency. We find that changing clothes makes ReID a much harder problem in the sense of bringing difficulties to learning effective representations and also challenges the generalization ability of previous ReID models to identify persons with unseen (new) clothes. Representative existing ReID models are adopted to show informative results on such a challenging setting, and we also provide some preliminary efforts on improving the robustness of existing models on handling the clothes inconsistency issue in the data. We believe that this study can be inspiring and helpful for encouraging more researches in this direction. The dataset is available on the project website: https://wanfb.github.io/dataset.html.

연구 동기 및 목표

• 실제 감시 환경에서 모델 일반화를 해치는 오랫동안 간과된 의류 일관성 문제를 해결하기 위해.
• 동일한 신원에 대해 상당한 의류 변화가 있는 대규모이고 현실적인 데이터셋의 부족을 해결하기 위해.
• 기존 ReID 모델이 의류 일관성 하에서 어떻게 작동하는지 평가하고 성능 향상을 위한 방법을 탐색하기 위해.
• 합성 데이터가 새로운 의류 변화에 대한 일반화 능력을 향상시키는 데 유용함을 입증하기 위해.

제안 방법

• 3일 동안 28명의 자원자를 대상으로 실제 환경에서 자연스러운 의류 변화를 촬영한 데이터셋(Real28)을 수집함.
• GTA5 게임 엔진을 사용하여 3D 인간 모델에 다양한 의류 변화를 시뮬레이션한 대규모 합성 데이터셋(VC-Clothes)을 생성함.
• 가중 평균을 통해 통합된 ReID 특징와 얼굴 특징를 융합하는 하이브리드 특징 융합 모델(3APF)을 제안하며, 학습 가능한 융합 가중치 w를 포함함.
• 외형(A(·)) 및 신체 부위(P(·)) 특징를 결합하기 위해 이중 풀링 레이어를 사용함: f₁(I) = pooling(A(I) ⊗ P(I)).
• 신뢰도 임계값 0.8을 가진 얼굴 검출기(PyramidBox)를 사용하고, 바운딩 박자를 15픽셀 확장함; 얼굴 특징 추출에 MS-1M에서 미리 훈련된 ResNet50를 활용함.
• Real28 데이터셋에서 VC-Clothes 또는 Market1501에서 미리 훈련된 모델을 미세조정하여 의류 일관성 문제 존재 시 ReID 성능을 향상시키기 위해 전이 학습을 적용함.

실험 결과

연구 질문

• RQ1 의류 일관성이 최신 ReID 모델의 성능에 어떤 영향을 미치는가?
• RQ2 합성 데이터가 실제 의류 변화를 효과적으로 시뮬레이션하여 ReID 일반화 능력을 향상시킬 수 있는가?
• RQ3 얼굴 특징가 의류 변화로 인한 성능 저하를 얼마나 효과적으로 완화할 수 있는가?
• RQ4 합성 데이터로의 미세조정이 의류 일관성 문제 존재 시 실제 ReID 성능 향상에 기여하는가?

주요 결과

• 얼굴 특징와 ReID 특징를 융합한 3APF 모델이 VC-Clothes 데이터셋에서 82.1% mAP를 달성하여 단독 얼굴 특징(60.8%)이나 통합 특징(79.7%) 추출기보다 유의미하게 뛰어남.
• VC-Clothes에서 미리 훈련된 모델을 직접 Real28에 적용한 결과는 열악한 성능(5.2% R@1, 3.6% mAP)을 보여 주며 도메인 갭 문제를 시사함.
• VC-Clothes에서 미리 훈련된 모델을 Market1501에서 미세조정한 결과(Redirect: VC-Clothes +FT) Real28에서 R@1 11.0%와 mAP 10.6%를 달성하여 뛰어난 전이 가능성 확인.
• Real28에서의 미세조정 또한 Market1501에서 미리 훈련된 모델(Market1501 +FT)의 성능을 향상시켜 R@1 12.4%와 mAP 7.6%를 달성함으로써 합성 데이터가 실제 환경 적응에 유용함을 확인함.
• RGB-D 데이터셋에서는 VC-Clothes +FT와 Market1501 +FT 모두 R@1 50% 이상을 달성하여 다중 모odal 환경에서 의류 변화에 대한 강건성을 입증함.
• 본 연구는 의류 일관성이 기존 ReID 모델에 심각한 도전 과제가 되며, 특히 의류 기반 외형 특징에 의존할 경우 더욱 심각하다는 점을 확인하고, 정체성에 강건한 특징 학습의 필요성을 강조함.