[논문 리뷰] Deep Learning for Person Re-identification: A Survey and Outlook

Mang Ye, Jianbing Shen외 4명|arXiv (Cornell University)|2020. 01. 13.

Video Surveillance and Tracking Methods인용 수 120

한 줄 요약

이 설문은 폐쇄형 세계와 개방형 세계 인물 Re-ID를 분석하고 AGW 기본선과 새로운 mINP 지표를 제안하며, 열린 도전과 향후 방향을 개략적으로 제시한다.

ABSTRACT

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.

연구 동기 및 목표

• 깊은 학습 아래 폐쇄형 세계 사람 재식별의 주요 구성 요소와 도전을 요약한다.
• 폐쇄형 세계 Re-ID와 개방형 세계 Re-ID를 구분하고 각 방법론을 분석한다.
• 미래 연구를 촉진하기 위한 강력한 기본선(AGW)과 새로운 평가 지표(mINP)를 제안한다.
• 실제 현장 Re-ID 시스템의 개방 이슈와 실무 고려사항을 논의한다.

제안 방법

• 폐쇄형 세계 Re-ID에서 깊은 특징 표현 학습, 심층 거리 학습, 순위 최적화를 검토한다.
• 네 가지 특징 학습 전략(Global, Local, Auxiliary, Video 특징)을 도입하고 분석한다.
• 손실 함수(Identity, Verification, Triplet, OIM) 및 심층 Re-ID 모델 학습을 위한 샘플링 전략을 논의한다.
• 강력한 기본선으로 AGW(Attention Generalized mean pooling with Weighted triplet loss)를 제안한다.
• 보조 평가 지표로 mINP(mean Inverse Negative Penalty)을 도입한다.

실험 결과

연구 질문

• RQ1 폐쇄형 세계 사람 Re-ID에 대한 현재 딥러닝 접근 방식의 강점과 한계는 무엇인가?
• RQ2 개방형 세계 설정이 추가적인 도전을 어떻게 도입하며, 어떤 방법들이 이를 다루는가?
• RQ3 데이터셋과 작업 전반에 걸쳐 Re-ID에 대한 강력하고 일반화 가능한 기본선은 무엇인가?
• RQ4 새로운 mINP 지표가 기존 CMC/mAP를 보완하여 Re-ID 시스템 평가에 어떻게 기여하는가?

주요 결과

• AGW 기본선은 네 개의 Re-ID 과제에서 열두 개 데이터셋에 대해 최첨단 또는 경쟁력 있는 성능을 달성한다.
• mINP는 모든 올바른 매치를 찾는 비용을 측정하여 추가 기준을 제공한다.
• 개방형 세계 도전 과제로는 이질적 데이터, 엔드투엔드 검색, 제한적/노이즈 라벨, 라벨 노이즈, 개방 세트 검색 등이 있다.
• 한정된 폐쇄형 세계 벤치마크와 실제 배포 간의 격차를 해소하기 위한 열린 이슈가 식별되었다.