[논문 리뷰] Fairest of Them All: Establishing a Strong Baseline for Cross-Domain Person ReID

Devinder Kumar, Parthipan Siva외 2명|arXiv (Cornell University)|2019. 07. 28.

Video Surveillance and Tracking Methods인용 수 11

한 줄 요약

이 논문은 다양한 출처 도메인(SYSU, MSMT, Airport, 3DPeS)과 균형 잡힌 다중 목표 도메인(Market-1501, DukeMTMC-reID, CUHK03, PRID, GRID, VIPeR)을 제안함으로써 교차 도메인 인물 재식별(ReID)에 대해 강력하고 표준화된 베이스라인을 수립한다. 다양한 대규모 출처 도메인이 제안 도메인의 성능을 크게 향상시키며, 고정된 분할에서 랭크-1 정확도 63.6%와 mAP 42.7%를 기록하여 대부분의 이전 교차 도메인 방법을 능가하고 향후 연구를 위한 견고한 벤치마크를 제공한다.

ABSTRACT

Person re-identification (ReID) remains a very difficult challenge in computer vision, and critical for large-scale video surveillance scenarios where an individual could appear in different camera views at different times. There has been recent interest in tackling this challenge using cross-domain approaches, which leverages data from source domains that are different than the target domain. Such approaches are more practical for real-world widespread deployment given that they don't require on-site training (as with unsupervised or domain transfer approaches) or on-site manual annotation and training (as with supervised approaches). In this study, we take a systematic approach to establishing a large baseline source domain and target domain for cross-domain person ReID. We accomplish this by conducting a comprehensive analysis to study the similarities between source domains proposed in literature, and studying the effects of incrementally increasing the size of the source domain. This allows us to establish a balanced source domain and target domain split that promotes variety in both source and target domains. Furthermore, using lessons learned from the state-of-the-art supervised person re-identification methods, we establish a strong baseline method for cross-domain person ReID. Experiments show that a source domain composed of two of the largest person ReID domains (SYSU and MSMT) performs well across six commonly-used target domains. Furthermore, we show that, surprisingly, two of the recent commonly-used domains (PRID and GRID) have too few query images to provide meaningful insights. As such, based on our findings, we propose the following balanced baseline for cross-domain person ReID consisting of: i) a fixed multi-source domain consisting of SYSU, MSMT, Airport and 3DPeS, and ii) a multi-target domain consisting of Market-1501, DukeMTMC-reID, CUHK03, PRID, GRID and VIPeR.

연구 동기 및 목표

• 연구 간 출처 도메인과 목표 도메인 선택의 일관성 부족으로 인해 교차 도메인 인물 ReID 분야에서 일관된 벤치마킹이 부족한 문제를 해결하기 위해.
• 공정한 교차 도메인 ReID 방법 비교를 위해 고정된 다중 출처 도메인과 다중 목표 도메인을 포함한 종합적이고 균형 잡힌 벤치마크를 수립하기 위해.
• 다양한 목표 도메인에 걸쳐 제로샷 전이 성능에 영향을 미치는 출처 도메인의 크기와 다양성의 영향을 경험적으로 평가하기 위해.
• 다양한 목표 도메인에 걸쳐 일반화 능력을 극대화하는 데 최적의 출처 도메인 조합을 식별하고 권장하기 위해.
• 향후 교차 도메인 인물 ReID 연구를 위한 강력하고 재현 가능한 기초 베이스라인을 제공하여 현장에서의 애너테이션이나 도메인 특화 미세조정에 대한 의존도를 줄이기 위해.

제안 방법

• 저자들은 다양성과 대표성을 고려해 선정한 네 개의 대규모 ReID 데이터셋(SYSU, MSMT, Airport, 3DPeS)을 사용하여 고정된 다중 출처 도메인을 구축한다.
• 표준 메트릭(랭크-1 및 mAP)을 사용하여 시장-1501, DukeMTMC-reID, CUHK03, PRID, GRID, VIPeR 등 널리 사용되는 여섯 개의 목표 도메인에서 베이스라인 성능을 평가한다.
• 테스트 시 목표 도메인 중 하나(예: Market-1501)를 출처 도메인에 포함시켜 훈련 데이터를 최대한 늘리되, 공정성을 유지하기 위해 '하나를 제외한 다중 출처 도메인' 전략을 제안한다.
• 딥 메트릭 러닝 기반의 최신 기법(트리플릿 및 콘트라스트 손실 포함)과 일반화 능력을 향상시키기 위한 데이터 증강 전략을 활용해 베이스라인 방법을 도출한다.
• 표준 ReID 메트릭인 랭크-1 정확도와 평균 평균 정밀도(mAP)를 사용하여 성능을 평가하며, 여섯 개의 목표 도메인 전반에 걸쳐 결과를 보고한다.
• 출처 도메인을 단계적으로 추가함으로써 영향을 분석하고, 최적의 도메인 조합을 도출하기 위해 성능 변화를 평가한다.

실험 결과

연구 질문

• RQ1 다양한 목표 도메인에 걸쳐 잘 일반화되는 교차 도메인 인물 ReID에서 최적의 다중 출처 도메인 조합은 무엇인가?
• RQ2 출처 도메인의 크기와 다양성이 다수의 목표 도메인에 걸쳐 교차 도메인 ReID 모델의 성능에 어떻게 영향을 미치는가?
• RQ3 PRID와 GRID와 같은 일반적으로 사용되는 목표 도메인이 쿼리 이미지 수가 부족하여 신뢰할 수 있는 평가가 어려워 의미 있는 평가를 제공하지 못하는가?
• RQ4 고정된 다중 출처 도메인 기반 베이스라인은 기존의 교차 도메인, 도메인 적응, 비지도 및 지도 학습 ReID 방법과 어떻게 비교되는가?
• RQ5 향후 교차 도메인 ReID 연구에서 공정하고 일관된 벤치마킹을 가능하게 하기 위해 강력하고 재현 가능한 기초 베이스라인을 수립할 수 있는가?

주요 결과

• SYSU, MSMT, Airport, 3DPeS로 구성된 고정된 다중 출처 도메인은 통합된 목표 도메인에서 랭크-1 정확도 63.6%와 mAP 42.7%를 기록하여 강력한 기초 베이스라인을 확립한다.
• SYSU와 MSMT만을 조합해도 랭크-1 정확도 61.3%와 mAP 39.5%를 기록하여, 심지어 두 개의 대규모 도메인만으로도 강력한 초보기반 베이스라인을 형성할 수 있음을 시사한다.
• 추가로 출처 도메인을 더하는 것은 성능 향상에 기여하지만, 가장 큰 성능 향상은 CUHK03과 CUHK02를 포함했을 때 발생하여 도메인 유사성이 중요하다는 것을 시사한다.
• PRID와 GRID는 쿼리 이미지 수가 너무 적어 신뢰할 수 있는 평가가 어려워 목표 도메인으로서의 유용성이 제한됨을 발견하였다.
• 하나를 제외한 다중 출처 도메인 전략은 고정된 분할보다 항상 뛰어난 성능을 기록하며, 테스트 중인 도메인을 출처 도메인에 포함시킴으로써 성능을 향상시킨다.
• 제안된 베이스라인은 대부분의 기존 교차 도메인 방법을 능가하며, 목표 도메인 데이터를 전혀 사용하지 않음에도 불구하고 도메인 적응 및 비지도 방법과 경쟁력을 갖춘다.