[논문 리뷰] Person Re-Identification using Deep Learning Networks: A Systematic Review

Ankit Yadav, Dinesh Kumar Vishwakarma|arXiv (Cornell University)|2020. 12. 24.

Video Surveillance and Tracking Methods인용 수 8

한 줄 요약

이 체계적 리뷰는 사람 재식별(Re-ID)을 위한 최신 딥러닝 기법들을 종합적으로 분석하며, 아키텍처, 자세 및 가림 현상과 같은 도전 과제, 다중모달 및 크로스도메인 Re-ID, 메트릭 러닝, 영상 기반 Re-ID를 포함한다. 벤치마크, 최고 성능 결과, 향후 방향성도 평가하여 최근 딥 Re-ID 연구의 종합적이고 다각적인 개요를 제공한다.

ABSTRACT

Person re-identification has received a lot of attention from the research community in recent times. Due to its vital role in security based applications, person re-identification lies at the heart of research relevant to tracking robberies, preventing terrorist attacks and other security critical events. While the last decade has seen tremendous growth in re-id approaches, very little review literature exists to comprehend and summarize this progress. This review deals with the latest state-of-the-art deep learning based approaches for person re-identification. While the few existing re-id review works have analysed re-id techniques from a singular aspect, this review evaluates numerous re-id techniques from multiple deep learning aspects such as deep architecture types, common Re-Id challenges (variation in pose, lightning, view, scale, partial or complete occlusion, background clutter), multi-modal Re-Id, cross-domain Re-Id challenges, metric learning approaches and video Re-Id contributions. This review also includes several re-id benchmarks collected over the years, describing their characteristics, specifications and top re-id results obtained on them. The inclusion of the latest deep re-id works makes this a significant contribution to the re-id literature. Lastly, the conclusion and future directions are included.

연구 동기 및 목표

• 최근의 딥러닝 기반 사람 재식별 기법에 대한 통합적이고 다각적인 평가를 제공하기 위해.
• Re-ID 분야에서 다양한 딥러닝 측면을 종합적으로 다룬 리뷰 문헌의 부족을 보완하기 위해.
• 자세 변화, 조도 변화, 가림, 배경 혼잡도 등의 도전 과제를 분석하기 위해.
• 메트릭 러닝에 중점을 두고 다중모달, 크로스도메인, 영상 기반 Re-ID 접근법을 평가하기 위해.
• 주요 Re-ID 벤치마크를 정리하고, 그 사양 및 최신 기술 성능 결과를 기술하기 위해.

제안 방법

• 2020년 이전에 발표된 딥러닝 기반 사람 Re-ID 방법에 대한 체계적 문헌 리뷰를 수행한다.
• 딥 아키텍처 유형(예: CNN, 시아모이드 네트워크, 어텐션 메커니즘 등)에 따라 Re-ID 기법을 분류한다.
• 자세, 조도, 시점, 스케일, 가림, 배경 혼잡도 등의 주요 과제에 대한 성능을 분석한다.
• 다중모달 Re-ID(예: RGB+깊이, RGB+열화상) 및 크로스도메인 Re-ID 방법을 조사한다.
• 임베딩 공간의 분류 성능 향상을 위해 사용되는 메트릭 러닝 전략을 검토한다.
• 시간적 일관성을 모델링하고 시공간적 특징을 활용하는 영상 Re-ID 접근법을 검토한다.

실험 결과

연구 질문

• RQ1 현대 사람 재식별 시스템에서 주로 사용되는 딥러닝 아키텍처는 무엇인가?
• RQ2 기존 방법들은 가림, 시점 변화, 조도 변화와 같은 일반적인 Re-ID 과제를 어떻게 해결하는가?
• RQ3 딥러닝을 활용한 다중모달 및 크로스도메인 사람 재식별 분야에서의 진전은 무엇인가?
• RQ4 메트릭 러닝 기법은 Re-ID 작업에서 특징 임베딩 품질을 어떻게 향상시키는가?
• RQ5 사람 재식별 분야의 주요 벤치마크는 무엇이며, 그들에서 최고 성능를 기록한 결과는 무엇인가?

주요 결과

• 리뷰는 Re-ID 분야에서 가장 널리 사용되는 딥러닝 아키텍처로 컨volutional 네트워크(CNNs)와 시아모이드 네트워크를 밝혀냈다.
• 트리플릿 손실과 콘트라스트 손실 같은 메트릭 러닝 방법은 특징의 분류 성능 향상과 재식별 정확도 향상에 크게 기여한다.
• RGB와 깊이 또는 열화상 데이터를 조합한 다중모달 Re-ID 접근법은 도전적인 조건에서도 더 높은 내성성을 보였다.
• 크로스도메인 Re-ID는 여전히 주요 과제로 남아 있으며, 소스 도메인과 타겟 도메인이 다를 경우 성능 저하가 심각하게 발생한다.
• 순환 신경망 또는 3D 컨볼루션을 활용한 영상 Re-ID 방법은 시간적 일관성을 모델링함으로써 이미지 기반 방법보다 더 높은 정확도를 달성한다.
• PRID2012, Market-1501, DukeMTMC-reID, MSMT12849 벤치마크는 여전히 Re-ID 성능 평가의 핵심을 차지하며, 표준 프rotocol 하에서 Market-1501에서 최고 성능 방법들이 mAP 점수 90% 이상를 기록하고 있다.