[논문 리뷰] UnrealPerson: An Adaptive Pipeline towards Costless Person Re-identification

Tianyu Zhang, Lingxi Xie외 5명|arXiv (Cornell University)|2020. 12. 08.

Video Surveillance and Tracking Methods참고 문헌 49인용 수 5

한 줄 요약

UnrealPerson는 유료 인스턴스 레이블이 무료로 제공되는 고품질, 제어 가능한 합성 보행자 이미지를 사용하여 비용이 들지 않는 개인 재식별 파이프라인을 제안한다. 3,000명의 ID로 합성 데이터를 사전 훈련한 모델은 MSMT17에서 랭크-1 정확도 38.5%를 달성하며, 이는 이전의 합성 기반 결과를 거의 두 배로 뛰어넘고 실제 데이터 기반 기준을 초월하여 강력한 제로샷 전이와 어려운 도메인(저조도 또는 검은 옷 착용 상황 등)에의 적응성을 가능하게 한다.

ABSTRACT

The main difficulty of person re-identification (ReID) lies in collecting annotated data and transferring the model across different domains. This paper presents UnrealPerson, a novel pipeline that makes full use of unreal image data to decrease the costs in both the training and deployment stages. Its fundamental part is a system that can generate synthesized images of high-quality and from controllable distributions. Instance-level annotation goes with the synthesized data and is almost free. We point out some details in image synthesis that largely impact the data quality. With 3,000 IDs and 120,000 instances, our method achieves a 38.5% rank-1 accuracy when being directly transferred to MSMT17. It almost doubles the former record using synthesized data and even surpasses previous direct transfer records using real data. This offers a good basis for unsupervised domain adaption, where our pre-trained model is easily plugged into the state-of-the-art algorithms towards higher accuracy. In addition, the data distribution can be flexibly adjusted to fit some corner ReID scenarios, which widens the application of our pipeline. We will publish our data synthesis toolkit and synthesized data in https://github.com/FlyHighest/UnrealPerson.

연구 동기 및 목표

• 새로운 도메인에서 실제 개인 재식별(ReID) 데이터를 수집하고 레이블링하는 데 드는 높은 비용과 어려움을 해결한다.
• 사람이 수작업으로 레이블링한 실제 데이터에 대한 의존도를 최소화하여 ReID 모델의 구현 장벽을 낮춘다.
• 저조도 또는 동일한 옷을 입은 상황과 같은 어려운 실제 세계 시나리오에 효과적인 제로샷 및 도메인 적응형 전이를 가능하게 한다.
• 순수하게 합성된 데이터로도 직접 전이 설정에서 실제 데이터 사전 훈련보다 우수한 성능을 낼 수 있음을 입증한다.
• 무료 레이블이 제공되는 다양한 실감나는 ReID 훈련 데이터를 생성할 수 있는 유연하고 조절 가능한 파이프라인을 제공한다.

제안 방법

• 조명, 환경, 보행자 속성(예: 성별, 옷, 키 등)을 조절할 수 있는 가상의 3D 환경을 사용하여 고해상도이고 제어 가능한 3D 보행자 이미지를 생성한다.
• 합성 파이프라인의 특성을 활용해 추가 비용 없이도 자동으로 인스턴스 수준의 레이블(식별자 레이블)을 합성 이미지에 할당한다.
• 표준 대비 손실을 사용한 표준 기준 네트워크(예: ResNet 기반)를 사용하여 3,000개의 ID와 120,000개의 합성 인스턴스로만 구성된 데이터에 대해 ReID 모델을 사전 훈련한다.
• 낮은 조도나 검은 옷 착용 상황과 같은 어려운 실제 세계 조건을 시뮬레이션하기 위해 가상 환경의 파rameter(예: 시간대, 조명, 카메라 각도)를 조절한다.
• 사전 훈련된 모델을 직접 실세계 벤치마크(MSMT17, GRID, LIPS, Market-black, Duke-black)에 적용하여 제로샷 전이 평가를 수행한다.
• 사전 훈련된 모델을 최신의 비지도 도메인 적응(UDA) 프레임워크에 통합하여 타겟 도메인에서의 정확도를 더욱 향상시킨다.

실험 결과

연구 질문

• RQ1 합성 데이터로만 사전 훈련된 ReID 모델이 실제 레이블이 부여된 데이터로 사전 훈련된 모델보다 우수한 제로샷 전이 성능을 달성할 수 있는가?
• RQ2 합성 데이터의 품질과 제어 가능성은 실제 ReID 도메인의 다양성에 대한 일반화 능력에 어떤 영향을 미치는가? 특히 실제 데이터가 제한된 도메인에서 말이다.
• RQ3 데이터 합성 파이프라인이 낮은 조도나 촬영이 어려운 상황(예: 검은 옷 착용 환경)과 같은 드문 시나리오를 얼마나 잘 시뮬레이션할 수 있는가? 이를 통해 모델의 강건성은 얼마나 향상되는가?
• RQ4 데이터 합성 과정에서 모델 성능에 가장 크게 영향을 미치는 요소는 무엇인가?
• RQ5 합성 데이터에서 사전 훈련된 모델이 지도 및 비지도 도메인 적응 모두에 대해 효과적인 초기화로 기능할 수 있는가? 이는 도메인 특화 미세조정의 필요성을 줄일 수 있는가?

주요 결과

• UnrealPerson 파이프라인은 합성 데이터로만 사전 훈련된 모델을 직접 전이했을 때 MSMT17 벤치마크에서 랭크-1 정확도 38.5%를 달성하며, 이는 이전 최고 성능인 20.0%의 합성 데이터 기반 결과(RandPerson)를 거의 두 배로 뛰어넘는다.
• 모델은 이전의 직접 전이 기록을 실제 데이터로도 초월하여, 합성 데이터가 제로샷 ReID 일반화에 대해 실제 데이터보다 더 효과적일 수 있음을 입증한다.
• 저조도 상황에서는 저조도 합성 데이터로 훈련된 모델이 LIPS 데이터셋에서 실제 데이터 기반 기준보다 랭크-1 정확도 3.0% 높게 성과를 내었다.
• 검은 옷 착용 ReID 문제에서는 합성된 검은 옷을 입은 보행자 데이터로 훈련된 모델이 Market-black과 Duke-black에서 실제 세계 데이터로 사전 훈련된 모델을 능가하는 성능을 보였다.
• 사전 훈련된 모델은 비지도 도메인 적응에 효과적인 초기화로 기능하여 기존 UDA 프레임워크에 통합되었을 때 최신 기술 수준의 성능을 달성했다.
• 파이프라인의 유연성 덕분에 실내, 야간, 동일한 옷 착용 등의 코너 케이스에 쉽게 적응할 수 있어, 배포 가능한 ReID 시스템의 적용 범위가 넓어졌다.