[논문 리뷰] Person Re-identification: Past, Present and Future

Liang Zheng, Yi Yang외 1명|arXiv (Cornell University)|2016. 10. 10.

Video Surveillance and Tracking Methods참고 문헌 82인용 수 1,038

한 줄 요약

이것은 사람 재식별(re-identification)에 대한 포괄적 조사로, 역사 경로를 추적하고 이미지- 및 비디오 기반 re-ID를 위한 수작업(hand-crafted) 및 딥러닝 방법을 요약하며 엔드 투 엔드 시스템과 대규모 검색과 같은 미래 방향을 개략적으로 제시합니다.

ABSTRACT

Person re-identification (re-ID) has become increasingly popular in the community due to its application and research significance. It aims at spotting a person of interest in other cameras. In the early days, hand-crafted algorithms and small-scale evaluation were predominantly reported. Recent years have witnessed the emergence of large-scale datasets and deep learning systems which make use of large data volumes. Considering different tasks, we classify most current re-ID methods into two classes, i.e., image-based and video-based; in both tasks, hand-crafted and deep learning systems will be reviewed. Moreover, two new re-ID tasks which are much closer to real-world applications are described and discussed, i.e., end-to-end re-ID and fast re-ID in very large galleries. This paper: 1) introduces the history of person re-ID and its relationship with image classification and instance retrieval; 2) surveys a broad selection of the hand-crafted systems and the large-scale methods in both image- and video-based re-ID; 3) describes critical future directions in end-to-end re-ID and fast retrieval in large galleries; and 4) finally briefs some important yet under-developed issues.

연구 동기 및 목표

• 사람 re-ID, 이미지 분류, 인스턴스 검색 간의 역사적 맥락과 관계를 소개한다.
• 이미지 기반 및 비디오 기반 re-ID를 위한 수작업(hand-crafted) 및 딥러닝 방법을 조사한다.
• 대형 갤러리에서의 엔드투엔드 re-ID 및 빠른 검색을 미래 방향으로 논의한다.
• re-ID 연구의 데이터셋, 평가 지표 및 해결 과제를 강조한다.

제안 방법

• re-ID 방법을 이미지 기반과 비디오 기반으로 분류하고, 각각 수작업(hand-crafted)과 딥러닝 접근법을 포함한다.
• 거리 측정값을 논의하며 특히 KISSME 같은 마하라노비스 기반 거리와 서브스페이스 방법을 다룬다.
• 분류형 대 시암/트리플렛 구조를 포함한 CNN 기반 모델과 학습 방식들을 설명한다.
• 평가 프로토콜(CMC 및 mAP)과 데이터셋 특성(VIPeR, CUHK03, Market-1501 등)을 설명한다.
• 탐지기 영향, 엔드투엔드 파이프라인, 대규모 검색 문제 등과 같은 실용적 측면을 다룬다.

실험 결과

연구 질문

• RQ1 사람 re-ID의 역사적 이정표와 분류 및 검색과의 관계는 무엇인가?
• RQ2 이미지 기반 및 비디오 기반 re-ID에서 수작업 방법과 딥러닝 방법은 어떻게 비교되는가?
• RQ3 표준 데이터셋과 평가 지표는 re-ID 진전에 어떤 영향을 미치며 현재 한계는 무엇을 드러내는가?
• RQ4 현실 세계 배치를 위한 미래 방향(엔드투 엔드 re-ID, 대형 갤러리에서의 빠른 검색)은 무엇이 가장 유망한가?
• RQ5 re-ID 연구 및 데이터셋 개발에서 남아 있는 개방 이슈는 무엇인가?

주요 결과

• 딥러닝 방법은 일반적으로 대부분의 대규모 데이터셋에서 수작업 방법을 능가하지만 VIPeR는 크기가 작아 주목할 만한 예외이다.
• Market-1501은 시간에 따라 rank-1 정확도에서 큰 향상을 보이지만 mAP는 상대적으로 낮아 여러 카메라에서 재현율을 개선할 여지가 있음을 시사한다.
• 데이터셋 규모가 점차 커지는 뚜렷한 추세가 있으며, 더 큰 데이터셋이 엔드투엔드 학습과 더 강건한 임베딩을 가능하게 한다.
• 탐지기의 품질과 바운딩 박스 정렬은 re-ID 성능에 상당한 영향을 미치며 탐지와 re-ID를 통합하는 엔드투엔드 파이프라인의 필요성을 강조한다.
• 데이터셋 전반에서 대형 벤치마크에서 식별(분류 유사) 모델이 종종 검증(시암) 모델보다 더 우수하여 re-ID 라벨의 활용이 더 잘 이루어짐을 시사한다.
• 본 조사는 re-ID에서 딥러닝의 지속적인 지배를 예상하며, 더 크고 현실적인 데이터셋과 대형 갤러리에서의 확장 가능한 검색으로의 돌파구를 기대한다.