[논문 리뷰] Unsupervised Pre-training for Person Re-identification

Dengpan Fu, Dongdong Chen외 6명|arXiv (Cornell University)|2020. 12. 07.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 5

한 줄 요약

이 논문은 400만 장의 이미지, 20만 명의 신원을 포함한 4M-이미지, 200K-신원의 비지도 사전 학습 데이터셋인 LUPerson을 소개하며, 이 대규모이고 다양한 데이터셋에서 자기지도 사전 학습을 통해 인식 특징의 일반화 능력이 크게 향상됨을 보여준다. 데이터 증강 및 대비 손실 구성 요소를 신중히 설계함으로써 유해한 색상 왜곡을 피하고 RandomErasing를 사용함으로써, 다양한 Re-ID 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 마켓1501에서 최대 3.5% mAP 향상과 CUHK03에서 2.9% 향상을 기록하였다. 특별한 추가 조정 없이도 성능 향상이 이루어졌다.

ABSTRACT

In this paper, we present a large scale unlabeled person re-identification (Re-ID) dataset "LUPerson" and make the first attempt of performing unsupervised pre-training for improving the generalization ability of the learned person Re-ID feature representation. This is to address the problem that all existing person Re-ID datasets are all of limited scale due to the costly effort required for data annotation. Previous research tries to leverage models pre-trained on ImageNet to mitigate the shortage of person Re-ID data but suffers from the large domain gap between ImageNet and person Re-ID data. LUPerson is an unlabeled dataset of 4M images of over 200K identities, which is 30X larger than the largest existing Re-ID dataset. It also covers a much diverse range of capturing environments (eg, camera settings, scenes, etc.). Based on this dataset, we systematically study the key factors for learning Re-ID features from two perspectives: data augmentation and contrastive loss. Unsupervised pre-training performed on this large-scale dataset effectively leads to a generic Re-ID feature that can benefit all existing person Re-ID methods. Using our pre-trained model in some basic frameworks, our methods achieve state-of-the-art results without bells and whistles on four widely used Re-ID datasets: CUHK03, Market1501, DukeMTMC, and MSMT17. Our results also show that the performance improvement is more significant on small-scale target datasets or under few-shot setting.

연구 동기 및 목표

• 기존의 인식 Re-ID 데이터셋이 규모와 다양성 측면에서 제한되어 있어 효과적인 모델 학습을 방해한다는 문제를 해결하기 위해.
• 대규모 비라벨 Re-ID 데이터셋에서의 비지도 사전 학습이 특징 일반화 능력을 향상시키고 고비용 레이블링 의존도를 줄일 수 있는지 조사하기 위해.
• 자기지도 학습이 Re-ID에 효과적으로 작용하기 위해 필요한 핵심 설계 요소들—예: 데이터 증강 및 대비 손실 구성 요소—를 규명하기 위해.
• 비지도 사전 학습이 감독 학습 및 비감독 학습 Re-ID 방법 모두에 일반화되어 소규모 및 소수 샘플 설정에서도 성능 향상을 이끌 수 있는지 입증하기 위해.

제안 방법

• 46,000개의 유튜브 영상에서 유래한 400만 장의 이미지로 구성된 대규모 비라벨 Re-ID 데이터셋인 LUPerson를 구축하였다. 이 데이터셋은 다양한 카메라 유형, 장면, 해상도를 포함하고 있다.
• MoCo v2를 백본 프레임워크로 사용하면서도 Re-ID에 특화된 요구사항을 충족시키기 위해 핵심 구성 요소를 수정한 대비 자기지도 학습을 적용하였다.
• 색상 왜곡이 Re-ID에 해로운 영향을 미친다는 것을 규명하고, 이를 데이터 증강에서 제외함으로써 색상 정보를 중요한 분류 특징으로 유지하였다.
• 대비 학습 중 잠재적 트ivial 해법으로의 붕괴를 방지하기 위해 RandomErasing를 강력한 데이터 증강 수단으로 도입하였다.
• 특징의 구분 능력과 하드 네거티브 샘플링 간 균형을 맞추기 위해 대비 손실의 온도 파라미터를 최적화하였다.
• 강력한 기준 모델(예: MGN, BDB)과 비감독 방법(예: SpCL)을 사용하여 여러 Re-ID 벤치마크에서 사전 학습된 모델의 성능을 평가하였으며, 후처리나 추가 미세조정 없이 평가하였다.

실험 결과

연구 질문

• RQ1 LUPerson와 같은 다양하고 비라벨인 대규모 Re-ID 데이터셋에서의 대규모 비지도 사전 학습이 인식 Re-ID 특징의 일반화 능력을 크게 향상시킬 수 있는가?
• RQ2 표준 대비 학습 구성 요소들—예: 색상 왜곡 및 RandomErasing—는 Re-ID 성능에 어떤 영향을 미치며, 최적의 결과를 얻기 위해 어떤 수정이 필요한가?
• RQ3 비지도 사전 학습이 소규모 또는 소수 샘플 Re-ID 데이터셋에서 전체 규모 데이터셋보다 더 큰 성능 향상을 이끌 수 있는가?
• RQ4 사전 학습된 표현이 감독 학습 및 비감독 학습 Re-ID 프레임워크 모두에 일반화되어 최신 기술 수준의 성능 향상을 이끌 수 있는가?
• RQ5 대비 손실의 온도 파라미터가 Re-ID에서 특징의 구분 능력과 하드 네거티브 샘플링 간 균형을 어떻게 조절하는가?

주요 결과

• 제안된 LUPerson 기반의 비지도 사전 학습은 MGN 기준 모델을 사용할 경우 마켓1501에서 3.5% mAP 향상과 덱스튜엠티엠씨에서 2.7% mAP 향상을 기록하였으며, 이는 이전의 모든 최신 기술 수준 성능을 초월하였다.
• CUHK03에서 이 방법은 BDB 기준 모델 대비 2.9% mAP 향상을 기록하였으며, 이전 최신 기술 수준인 SONA 방법을 능가하였다.
• 소규모 및 소수 샘플 설정에서의 성능 향상은 더욱 두드러졌으며, 이는 자료 부족 상황에서도 방법의 효과성을 입증하였다.
• 비감독 학습 설정(USL)에서 사전 학습된 모델은 최신 기술 수준의 비감독 방법인 SpCL의 성능을 마켓1501에서 평균 3.8 mAP 향상, 덱스튜엠티엠씨에서 2.2 mAP 향상시켰다.
• 더 큰 백본 모델에 대해서도 일반화 능력이 뛰어나며, ResNet101 기반 모델은 MSMT17에서 68.8% mAP, 마켓1501에서 92.0% mAP를 기록하여 확장성과 높은 성능를 입증하였다.
• 연구 결과 색상 왜곡은 Re-ID에 해로운 영향을 미치며, RandomErasing는 붕괴 방지를 위해 필수적임을 규명하였으며, 이는 대비 학습에서 작업 특화된 설계가 필요하다는 점을 강조하였다.