[논문 리뷰] Survey on Deep Learning Techniques for Person Re-Identification Task

Bahram Lavi, Mehdi Fatan Serj외 1명|arXiv (Cornell University)|2018. 07. 13.

Video Surveillance and Tracking Methods참고 문헌 27인용 수 30

한 줄 요약

이 종합 검토는 2014년에서 2017년까지 사람 재식별(PReID)을 위한 딥러닝 기법에 대한 포괄적인 개요를 제공하며, 최신 기술 모델, 손실 함수, 활성화 함수, 기준 데이터셋을 분석한다. 대조 손실과 트리플릿 손실을 사용하는 시아모이즈 및 트리플릿 네트워크의 우세함을 강조하며, i-LIDS에서 85%의 랭크-1 정확도와 PRID-2011에서 78%의 정확도를 기록한 최고 수준의 모델을 보여주지만, 실세계 성능 향상을 위해 경량화되고 효율적인 모델 및 더 큰 학습 데이터가 필요하다고 강조한다.

ABSTRACT

Intelligent video-surveillance is currently an active research field in computer vision and machine learning techniques. It provides useful tools for surveillance operators and forensic video investigators. Person re-identification (PReID) is one among these tools. It consists of recognizing whether an individual has already been observed over a camera in a network or not. This tool can also be employed in various possible applications such as off-line retrieval of all the video-sequences showing an individual of interest whose image is given a query, and online pedestrian tracking over multiple camera views. To this aim, many techniques have been proposed to increase the performance of PReID. Among the systems, many researchers utilized deep neural networks (DNNs) because of their better performance and fast execution at test time. Our objective is to provide for future researchers the work being done on PReID to date. Therefore, we summarized state-of-the-art DNN models being used for this task. A brief description of each model along with their evaluation on a set of benchmark datasets is given. Finally, a detailed comparison is provided among these models followed by some limitations that can work as guidelines for future research.

연구 동기 및 목표

• 2014년에서 2017년까지 사람 재식별(PReID)을 위한 최신 기술 딥 네트워크(DNN) 모델을 요약하기 위해.
• PReID에서 사용된 손실 함수, 활성화 함수, 네트워크 아키텍처와 같은 핵심 구성 요소를 분석하기 위해.
• Market-1501, CUHK03, VIPeR, i-LIDS, PRID-2011와 같은 표준 기준 데이터셋을 기반으로 모델 성능을 평가하기 위해.
• 학습 데이터 부족, 모델 크기, 처리 시간 등의 한계를 특정하고 향후 연구 방향을 안내하기 위해.

제안 방법

• 2014–2017년 사이의 PReID를 위한 딥러닝 문헌에 대한 체계적 검토를 통해 DNN 기반 모델에 집중한다.
• 대조 손실 및 트리플릿 손실와 같은 특정 손실 함수를 사용하는 시아모이즈, 트리플릿, 메트릭 학습 프레임워크로 모델를 분류한다.
• 유사도 계산을 위한 시아모이즈 네트워크에서 주로 사용되는 hyperbolic-tangent 활성화 함수의 분석.
• Market-1501, CUHK01, VIPeR, i-LIDS, PRID-2011, MARS와 같은 표준 기준 데이터셋에서 모델 평가.
• 랭크-1 정확도 및 처리 시간 지표를 사용한 성능 비교.
• 모델 효율성, 파rameter 감소, 정확도와 추론 속도의 균형을 맞추기 위한 다단계 랭킹 시스템 논의.

실험 결과

연구 질문

• RQ1 2014년에서 2017년 사이에 사람 재식별 작업에서 가장 높은 성능을 보인 딥러닝 아키텍처와 손실 함수는 무엇인가?
• RQ2 다양한 기준 데이터셋에서 시아모이즈 네트워크와 트리플릿 네트워크는 정확도와 내구성 측면에서 어떻게 비교되는가?
• RQ3 제한된 학습 데이터, 시점 변화, 가림 등의 주요 과제는 무엇이며, 현재의 모델들은 이를 어떻게 해결하는가?
• RQ4 모델 크기와 추론 속도는 실세계 구현에 얼마나 큰 영향을 미치며, 정확도를 희생시키지 않고 효율성을 어떻게 향상시킬 수 있는가?
• RQ5 왜 VIPeR 데이터셋은 가장 도전적인 기준 데이터셋으로 간주되며, 그 성능 격차는 모델 일반화 능력에 대해 무엇을 시사하는가?

주요 결과

• 문헌 [61]의 쌍체 시아모이즈 네트워크는 i-LIDS 데이터셋에서 85%의 랭크-1 정확도를 달성하여 당시 다른 모델보다 뛰어난 성능을 보였다.
• 문헌 [66]의 트리플릿 시아모이즈 네트워크는 PRID-2011 데이터셋에서 78%의 랭크-1 정확도를 기록하여 시공간 모델링에서 강력한 성능을 입증했다.
• 문헌 [58]의 모델은 WARD 데이터셋에서 거의 최적의 성능을 달성하여 현재 접근 방식으로서의 향상 여지가 미미함을 시사했다.
• VIPeR 데이터셋은 여전히 가장 도전적인 기준 데이터셋으로 남아 있으며, 광범위한 연구에도 불구하고 성능 향상이 제한적이며, 자세한 자세와 시점 변화를 다루는 데 지속적인 어려움이 있음을 보여준다.
• 대규모 데이터셋에서 높은 정확도를 달성하고도 대부분의 모델들이 높은 계산 비용을 겪고 있어, 경량 아키텍처의 필요성이 강조된다.
• 대부분의 모델은 역전파를 동반한 SGD를 사용하며, 유사도 계산에 유클리드 거리를 기반으로 하며, 활성화 함수로 hyperbolic-tangent를 일반적으로 사용한다.