[논문 리뷰] Beyond Intra-modality Discrepancy: A Comprehensive Survey of Heterogeneous Person Re-identification.

Zheng Wang, Zhixiang Wang외 3명|arXiv (Cornell University)|2019. 05. 24.

Video Surveillance and Tracking Methods인용 수 9

한 줄 요약

이 논문은 저해상도, 적외선, 스케치, 텍스트 기반 ReID 시나리오를 포함한 이종(person re-identification, He-ReID)에 대한 종합적인 서베이를 제공한다. He-ReID를 동종 ReID(Ho-ReID)와 비교하고, 기존 데이터셋, 모델, 대표적 접근법을 검토하며, 다중 모odal(person retrieval) 분야의 주요 과제와 향후 연구 방향을 제시한다.

ABSTRACT

An effective and efficient person re-identification (ReID) algorithm alleviates painful video watching and accelerates the investigation progress. Recently, with the explosive requirements of practical applications, a lot of research efforts have been dedicated to heterogeneous person re-identification (He-ReID). In this paper, we review the state-of-the-art methods comprehensively with respect to four main application scenarios -- low-resolution, infrared, sketch and text. We begin with a comparison between He-ReID and the general Homogeneous ReID (Ho-ReID) task. Available existing datasets for performing evaluation are briefly described. We then survey the models that have been widely employed in He-ReID. We also summarize and compare the representative approaches. Finally, we discuss some future research directions.

연구 동기 및 목표

• 다양한 응용 시나리오에서 이종(person re-identification, He-ReID)의 최신 기법을 체계적으로 검토하는 것.
• 모달리티 차이와 방법론적 차이 측면에서 He-ReID와 동종(person re-identification, Ho-ReID)를 비교하는 것.
• He-ReID 벤치마킹 및 모델 훈련에 사용되는 기존 데이터셋을 요약하고 평가하는 것.
• 다양한 모달리티 간에 사용된 대표적 모델 및 기법을 분석하고 대비하는 것.
• 다중 모달리티 person re-identification 분야에서의 열린 과제를 식별하고 향후 연구 방향을 제안하는 것.

제안 방법

• 저해상도, 적외선, 스케치, 텍스트 기반 ReID를 포함한 네 가지 주요 He-ReID 시나리오에 중점을 두고 체계적인 문헌 검토를 수행한다.
• 모달리티 간 불일치와 특징 분포 이동을 강조하여 He-ReID와 동종 ReID(Ho-ReID)의 특성과 과제를 비교한다.
• Siamese 네트워크, 주의 메커니즘, 다중 모달리티 정렬 모듈 등 He-ReID에서 널리 사용되는 딥 러닝 모델 및 아키텍처를 조사하고 분류한다.
• 다양한 데이터셋과 모달리티 조합에서 mAP 및 랭크-1 정확도와 같은 지표를 사용하여 대표적 접근법을 요약하고 비교한다.
• 특징 추출, 모달리티별 표현 학습, 다중 모달리티 정렬 기법의 설계 선택 사항을 분석한다.
• 기존 연구의 통찰을 통합하여 He-ReID 분야의 격차를 식별하고 향후 연구 방향을 제안한다.

실험 결과

연구 질문

• RQ1 모달리티 간 불일치와 특징 분포 측면에서 이종(person re-identification, He-ReID)과 동종(person re-identification, Ho-ReID) 간의 주요 차이점은 무엇인가?
• RQ2 저해상도, 적외선, 스케치, 텍스트 모달리티에서 He-ReID 모델 평가를 위해 현재 사용 가능한 주요 데이터셋은 무엇이며, 얼마나 널리 사용되고 있는가?
• RQ3 다중 모달리티 person re-identification 처리에 있어 가장 효과적인 딥 러닝 아키텍처 및 구성 요소(예: 주의 메커니즘, 대비 학습)는 무엇인가?
• RQ4 대표적 He-ReID 방법은 다양한 모달리티 조합에서 어떻게 성능을 내며, 그 한계는 무엇인가?
• RQ5 이종(person re-identification, He-ReID) 분야에서 주요한 열린 과제와 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 다양한 데이터 유형 간 큰 내부 모달리티 및 이종 모달리티 간 불일치로 인해 He-ReID는 Ho-ReID보다 훨씬 더 큰 과제를 안고 있다.
• Market-1501, CUHK03, MS-COCO와 같은 기존 He-ReID 데이터셋은 스케치 및 텍스트 모달리티에 특히 적합하지 않게 설계되어 있어 다중 모달리티 평가에 부적합하다.
• 주의 메커니즘과 대비 학습은 이종 모달리티 간 특징 정렬을 향상시키는 핵심 구성 요소로 부상하고 있다.
• 최신 He-ReID 모델은 일부 벤치마크에서 mAP 값이 60%를 초과하는 경쟁적인 성능을 달성하고 있으나, 스케치에서 이미지로의 ReID와 같은 극단적인 경우에서는 성능이 크게 떨어진다.
• 다중 모달리티 특징 정렬 및 도메인 적응 기법은 모달리티 특유의 편향을 줄이고 일반화 능력을 향상시키는 데 핵심적이다.
• 향후 연구는 다중 모달리티 ReID를 위한 통합 프레임워크 구축, 제로샷 일반화 능력 향상, 스케치 및 텍스트 기반 ReID를 위한 표준화된 벤치마크 개발에 초점을 맞춰야 한다.