[논문 리뷰] Beyond Intra-modality: A Survey of Heterogeneous Person Re-identification

Zheng Wang, Zhixiang Wang외 4명|arXiv (Cornell University)|2019. 05. 24.

Video Surveillance and Tracking Methods참고 문헌 71인용 수 9

한 줄 요약

이 종합 검토는 가시성, 저해상도, 적외선, 스케치, 텍스트 기반 ReID에서의 내모달 간 이질성 초과하는 교차 모달 도전 과제를 다루는 이종(person re-identification, Hetero-ReID)에 대한 종합적인 검토를 제공한다. 연구는 적용 시나리오별로 방법을 분류하고, 데이터셋과 모델을 평가하며, 모달 통합, 데이터셋 구축, 개인정보 보호 기법 분야의 핵심 연구 격차와 향후 방향성을 규명한다.

ABSTRACT

An efficient and effective person re-identification (ReID) system relieves the users from painful and boring video watching and accelerates the process of video analysis. Recently, with the explosive demands of practical applications, a lot of research efforts have been dedicated to heterogeneous person re-identification (Hetero-ReID). In this paper, we provide a comprehensive review of state-of-the-art Hetero-ReID methods that address the challenge of inter-modality discrepancies. According to the application scenario, we classify the methods into four categories -- low-resolution, infrared, sketch, and text. We begin with an introduction of ReID, and make a comparison between Homogeneous ReID (Homo-ReID) and Hetero-ReID tasks. Then, we describe and compare existing datasets for performing evaluations, and survey the models that have been widely employed in Hetero-ReID. We also summarize and compare the representative approaches from two perspectives, i.e., the application scenario and the learning pipeline. We conclude by a discussion of some future research directions. Follow-up updates are avaible at: https://github.com/lightChaserX/Awesome-Hetero-reID

연구 동기 및 목표

• 저해상도, 적외선, 스케치, 텍스트와 같은 다양한 모달에서 오는 데이터가 실제 환경에서의 동일 모달(person re-identification, Homo-ReID)의 실용적 한계를 해결하기 위해, 저해상도, 적외선, 스케치, 텍스트 기반의 이종(person re-identification, Hetero-ReID)에 대한 도전 과제를 다루기 위함이다.
• 응용 시나리오, 학습 파ip라인, 모델 아키텍처별로 분류된 Hetero-ReID 방법에 대한 체계적인 검토를 제공하기 위함이다.
• 이종 모달 간의 모달 불일치, 데이터셋 부족, 기능 표현 문제 등 핵심 과제를 규명하고 분석하기 위함이다.
• 모달 통합, 다수의 이종 입력 통합, 개인정보 보호 기법과 같은 아직 탐색되지 않은 연구 방향을 부각하기 위함이다.
• GitHub 리포지토리 유지 보수를 통해 최신 자료를 제공함으로써 향후 연구 지원을 위한 종합적 검토를 정리하기 위함이다.

제안 방법

• Hetero-ReID 방법을 저해상도(LR), 적외선(IR), 스케치, 텍스트 기반 ReID의 네 가지 주요 응용 시나리오로 분류한다.
• 평가를 위한 기존 벤치마크 데이터셋인 MLR-VIPeR(LR), SYSU-MM01(IR), PKU-Sketch(스케치), CUHK-PEDES(텍스트)를 검토하고 비교한다.
• 심층 학습 모델과 아키텍처, 특히 시아미즈 네트워크, 트리플릿 손실, 주의 메커니즘 등을 분석하며 교차 모달 학습에 적응한 방식을 고려한다.
• 초상도 향상 기법, IR에서 가시성으로의 변환, 잠재 공간 통합 등 다양한 모달 간 이질성 보정을 위한 모달 전이 기법을 분석한다.
• 이종 모달에서 원하는 모달로, 원하는 모달에서 이종 모달로, 그리고 양방향으로 잠재 모달로의 변환을 위한 프레임워크를 제안한다.
• 스케치 및 텍스트 ReID에 인간-중심 전략을 통합하여, 커뮤니티 기반, 주관적, 상충되는 증언 기반 기술을 고려한다.

실험 결과

연구 질문

• RQ1 Hetero-ReID에서의 과제는 무엇이 Homo-ReID와 다를까? 특히 이종 모달 간 불일치 측면에서 어떻게 다를까?
• RQ2 다양한 모달 간 Hetero-ReID 방법의 벤치마크 평가에 사용되는 주요 데이터셋과 평가 프로토콜은 무엇인가?
• RQ3 Hetero-ReID에서 주로 사용되는 심층 학습 아키텍처와 손실 함수는 무엇이며, 교차 모달 특징 학습에 어떻게 적응하는가?
• RQ4 초상도 향상 및 CycleGAN과 같은 모달 전이 기법이 이종 모달과 원하는 모달 간 도메인 갭을 어느 정도 해소할 수 있는가?
• RQ5 다양한 이종 입력(예: 스케치, 텍스트, IR) 통합 및 개인 정보 보호를 보장하기 위한 주요 과제는 무엇인가?

주요 결과

• Hetero-ReID는 Homo-ReID에 비해 여전히 탐색이 부족하며, 저해상도, 적외선, 스케치, 텍스트 기반 ReID와 같은 교차 모달 시나리오에서 성능 격차가 뚜렷하다.
• MLR-VIPeR, SYSU-MM01, PKU-Sketch, CUHK-PEDES와 같은 기존 데이터셋은 규모와 다양성 측면에서 제한되어 있어, 더 크고 현실적인 벤치마크의 구축이 필요하다.
• 초상도 향상 및 CycleGAN과 같은 모달 전이 기법은 이종 입력(예: IR에서 RGB로의 변환)을 보정하는 데 잠재력을 보이고 있으나, 스케치 및 텍스트 기반 ReID에서는 아직 활용도가 낮다.
• 텍스트나 스케치 모달을 공통 잠재 공간에 통합하는 기존 연구는 없으며, 이는 주요 열린 과제로 남아 있다.
• 스케치, 텍스트, IR 데이터를 결합하는 다중 이종 입력 통합은 상호 보완적 시각을 활용해 검색 성능을 크게 향상시킬 수 있다.
• 개인정보 보호 문제는 점점 더 중요한 이슈가 되고 있으며, 특히 다중 모달 개인 템플릿을 고려할 때 향후 연구는 시각 암호화, 신호 혼합, 이미지 편향 기법을 탐색해야 한다.