[논문 리뷰] Survey on Reliable Deep Learning-Based Person Re-Identification Models: Are We There Yet?

Bahram Lavi, Ihsan Ullah외 2명|arXiv (Cornell University)|2020. 04. 30.

Video Surveillance and Tracking Methods참고 문헌 81인용 수 18

한 줄 요약

이 종합 검토는 2014년부터 현재까지 딥 러닝 기반의 개인 재식별(PReID) 모델을 평가하며, 아키텍처, 기준 데이터셋에서의 성능, 그리고 한계를 분석한다. 모델의 일반화 능력 부족, 지도 학습에 대한 의존성, 모델 크기 문제, 실세계 환경에서의 취약성 등의 주요 과제를 밝혀내며, 자원 제약이 있는 임베디드 장치에 통합하기 위해 더 효율적이고 일반화 능력이 뛰어나며 확장성이 있는 모델 개발을 권장한다. 지능형 영상 감시 시스템에 실용적으로 적용하기 위한 바탕이 된다.

ABSTRACT

Intelligent video-surveillance (IVS) is currently an active research field in computer vision and machine learning and provides useful tools for surveillance operators and forensic video investigators. Person re-identification (PReID) is one of the most critical problems in IVS, and it consists of recognizing whether or not an individual has already been observed over a camera in a network. Solutions to PReID have myriad applications including retrieval of video-sequences showing an individual of interest or even pedestrian tracking over multiple camera views. Different techniques have been proposed to increase the performance of PReID in the literature, and more recently researchers utilized deep neural networks (DNNs) given their compelling performance on similar vision problems and fast execution at test time. Given the importance and wide range of applications of re-identification solutions, our objective herein is to discuss the work carried out in the area and come up with a survey of state-of-the-art DNN models being used for this task. We present descriptions of each model along with their evaluation on a set of benchmark datasets. Finally, we show a detailed comparison among these models, which are followed by some discussions on their limitations that can work as guidelines for future research.

연구 동기 및 목표

• 2014년부터 현재까지 최신 딥 러닝 기반 개인 재식별(PReID) 모델에 대한 종합적인 검토를 제공하기 위해.
• VIPeR, Market-1501, DukeMTMC-reID와 같은 표준 기준 데이터셋에서 이러한 모델의 성능을 평가하기 위해.
• 현재 PReID 모델의 주요 한계를 특정화하기 위해, 예를 들어 데이터셋 간 일반화 능력 부족과 제한된 레이블 데이터로 인한 지도 학습에 대한 과도한 의존성과 같은 문제를 다루기 위해.
• 자원 제약이 있는 임베디드 장치에 통합하기 위해 높은 정확도를 유지하면서도 크기가 작고 효율적인 모델의 필요성을 강조하기 위해.
• 향후 연구 방향을 제안하기 위해, 예를 들어 합성 데이터 생성, 다중 모odal 학습, 반 또는 자기지도 학습을 통한 실세계 적용 가능성 향상 방안을 포함하기 위해.

제안 방법

• 2014년부터 2020년까지 발표된 60개의 딥 러닝 기반 PReID 모델에 대한 체계적 검토 및 분류를 수행하였다.
• VIPeR, Market-1501, DukeMTMC-reID와 같은 표준 기준 데이터셋에서 모델의 성능 평가를 수행하였으며, Rank-1 정확도 및 mAP(평균 평균 정밀도)와 같은 성능 지표를 사용하였다.
• CNN 기반, 쌍별, 트리플릿 손실 기반 모델을 포함한 모델 아키텍처 분석을 수행하였으며, 파rameter 효율성과 추론 속도에 중점을 두었다.
• 지도 학습, 반지도 학습, 비지도 학습 전략을 비교 분석하여, 지도 학습과 약한 지도 학습 방법 간의 성능 격차를 확인하였다.
• 게임 엔진을 활용한 합성 데이터 생성 및 데이터 증강 기법을 조사하여 데이터 부족 문제에 대한 잠재적 해결책을 모색하였다.
• 야간 또는 저조도 환경과 같은 도전적인 조건에서 성능 향상을 위해 열화상 및 가시광선 등의 다중 모달 접근법과 도메인 적응 기법을 탐색하였다.

실험 결과

연구 질문

• RQ1 현재의 딥 러닝 기반 PReID 모델은 다양한 기준 데이터셋에서 어떻게 성능을 내며, 그 일반화 능력은 어느 정도인가?
• RQ2 실세계 구현 환경에서 기존 PReID 모델의 주요 한계는 무엇이며, 특히 모델 크기, 데이터 의존성, 도메인 이동에 대한 저항성 측면에서 어떤가?
• RQ3 합성 데이터 생성은 PReID에서 레이블이 부족한 문제를 어느 정도 완화할 수 있는가?
• RQ4 반지도 및 자기지도 학습 접근법은 PReID에서 대규모 레이블이 부여된 데이터셋에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ5 오픈 세트 및 장기적인 PReID 시나리오에서의 주요 연구 격차는 무엇이며, 향후 모델은 이를 어떻게 보완할 수 있는가?

주요 결과

• 단 한 개의 모델([93])만이 두 개 이상의 기준 데이터셋에서 최적의 성능을 달성하여, 데이터셋 간 일반화 능력 부족을 시사한다.
• 대부분의 모델은 한두 개의 데이터셋에서는 뛰어난 성능를 보이지만 다른 데이터셋에서는 일반화 실패를 보이며, 현재 모델 설계의 핵심적 한계를 드러낸다.
• 지도 학습 모델은 반지도 및 비지도 학습 방법보다 뚜렷하게 높은 성능를 보이며, 약한 지도 학습 학습의 경우 아직 개발이 미흡하고 효과적이지 않다는 것을 시사한다.
• 모델 크기는 여전히 주요 문제로 남아 있으며, 많은 딥 네트워크가 큰 파라미터 수를 가지므로 메모리 제약이 있는 임베디드 장치에 적합하지 않다.
• 게임 엔진을 활용한 합성 데이터 생성은 데이터 부족 문제에 대한 실현 가능한 해결책으로 제안되지만, 아직 PReID를 위한 공식적인 합성 데이터셋은 발표되지 않았다.
• 열화상 및 가시광선 등의 다중 모달 학습과 도메인 지식 전이 기법은 야간 또는 저조도 환경과 같은 어려운 조건에서의 성능 향상에 유망한 가능성을 보이고 있다.