[논문 리뷰] FastReID: A Pytorch Toolbox for General Instance Re-identification

Lingxiao He, Xingyu Liao외 4명|arXiv (Cornell University)|2020. 06. 04.

Video Surveillance and Tracking Methods참고 문헌 44인용 수 123

한 줄 요약

FastReID는 일반 인스턴스 재식별을 위한 모듈식 PyTorch 도구상자를 제공하며, 확장 가능한 학습, 풍부한 평가 지표, 그리고 배포 도구를 갖추고 표준 ReID 벤치마크에서 강력한 성적을 기록합니다.

ABSTRACT

General Instance Re-identification is a very important task in the computer vision, which can be widely used in many practical applications, such as person/vehicle re-identification, face recognition, wildlife protection, commodity tracing, and snapshop, etc.. To meet the increasing application demand for general instance re-identification, we present FastReID as a widely used software system in JD AI Research. In FastReID, highly modular and extensible design makes it easy for the researcher to achieve new research ideas. Friendly manageable system configuration and engineering deployment functions allow practitioners to quickly deploy models into productions. We have implemented some state-of-the-art projects, including person re-id, partial re-id, cross-domain re-id and vehicle re-id, and plan to release these pre-trained models on multiple benchmark datasets. FastReID is by far the most general and high-performance toolbox that supports single and multiple GPU servers, you can reproduce our project results very easily and are very welcome to use it, the code and models are available at https://github.com/JDAI-CV/fast-reid.

연구 동기 및 목표

• 연구와 생산 요구를 연결하기 위한 일반 인스턴스 재식별용 통합되고 확장 가능한 라이브러리 구축을 고무합니다.
• 새로운 아이디어를 코드 재작성 없이 가속하기 위해 백본, 집계, 헤드, 손실 등의 모듈형 구성요소를 제공합니다.
• 다중 GPU 학습, 지식 증류, 모델 변환 등을 포함한 포괄적인 평가 및 배포 지원을 제공합니다.
• 다양한 ReID 작업(사람, 도메인 간, 부분적, 차량)에 대한 최첨단 사전학습 모델을 제공합니다.
• 공통 벤치마크에서 접근 방식 간의 공정하고 재현 가능한 비교를 가능하게 합니다.

제안 방법

• 이미지 전처리, 백본, 집계 및 헤드의 4개 모듈 파이프라인을 제안합니다.
• Attention 및 IBN 변형을 갖춘 여러 백본(ResNet, ResNeXt, ResNeSt)을 구현합니다.
• 4가지 집계 방법(max, average, GeM, attention pooling)과 3가지 헤드 유형(BN neck, linear, reduction)을 배치 정규화와 함께 지원합니다.
• 교차 엔트로피 손실과 라벨 스무딩, ArcFace, Circle 손실, Triplet 손실 등의 다양한 손실 함수와 학습 트릭(lr warm-up, 백본 동결, 코사인 학습률 감소)을 사용합니다.
• 지식 증류(teacher-student, logit 매칭)를 활용해 가볍고 높은 정확도의 모델을 얻습니다.
• K-상호 재순위(K-reciprocal re-ranking), 질의 확장(QE) 등의 후처리 기법과 거리 측정 지표(Euclidean, cosine, DSR)를 제공합니다.
• PyTorch에서 Caffe/TensorRT로의 모델 변환 도구 및 프로덕션 배포를 위한 프레임워크를 제공합니다.

실험 결과

연구 질문

• RQ1 모듈형 PyTorch 도구상자가 일반 인스턴스 재식별 모델의 빠른 개발과 배포를 지원할 수 있는가?
• RQ2 백본, 풀링 및 손실 함수의 어떤 조합이 개인 식별, 도메인 간, 부분적, 차량과 같은 다중 ReID 작업에서 강력한 성능을 발휘하는가?
• RQ3 학습 전략과 증류가 경량 배포를 가능하게 하면서 정확도를 어떻게 개선할 수 있는가?
• RQ4 평가 및 후처리 도구가 ReID 모델의 실제 배포 성능을 가장 잘 반영하는가?

주요 결과

• FastReID는 주요 ReID 벤치마크(Market-1501, DukeMTMC, MSMT17)에서 강력한 성능을 달성하며 ResNet101-IBN 백본이 데이터세트 간 높은 rank-1/mAP를 보입니다.
• QE(쿼리 확장)와 지식 증류를 도입하면 정확도가 향상되어 보고된 고찰에서 더 높은 mAP 및 rank-1을 얻습니다(예: +QE 및 증류 이득).
• 라이브러리는 CMC를 넘어 ROC 및 mINP를 포함한 풍부한 평가 지표를 제공하며 개선된 검색을 위한 상세한 후처리를 지원합니다.
• FastReID는 다중 작업(사람, 도메인 간, 부분적, 차량)에 대한 최첨단 사전학습 모델을 제공하고 Caffe 및 TensorRT로의 모델 변환을 통해 배포를 용이하게 합니다.
• 프레임워크는 작업과 도메인 간에 강한 전달성을 보여 실제 생산 환경에서의 실용적 배포를 가능하게 합니다.
• table_headers:[ '방법','Market1501 R1','Market1501 mAP','DukeMTMC R1','DukeMTMC mAP','MSMT17 R1','MSMT17 mAP' ]
• table_rows
• [["FastReID (ResNet101-ibn)","96.3","90.3","92.4","83.2","85.1","63.3"],["+ QE (FastReID 101-ibn)","96.5","94.4","93.4","90.1","87.9","76.9"]]