[논문 리뷰] Appearance Descriptors for Person Re-identification: a Comprehensive Review

Riccardo Satta|arXiv (Cornell University)|2013. 07. 22.

Video Surveillance and Tracking Methods참고 문헌 99인용 수 57

한 줄 요약

이 논문은 사람 재식별을 위한 외관 기술자에 대한 종합적인 리뷰를 제공하며, 신체 기반 모델을 사용해 추출한 저수준의 局부 및 전반적 특징에 초점을 맞춰 옷차림 외관을 표현한다. 기존 방법을 신체 모델과 특징 유형으로 체계적으로 분류하여 이 도전적인 영상 감시 작업 분야의 향후 연구를 위한 체계적인 기반을 제공한다.

ABSTRACT

In video-surveillance, person re-identification is the task of recognising whether an individual has already been observed over a network of cameras. Typically, this is achieved by exploiting the clothing appearance, as classical biometric traits like the face are impractical in real-world video surveillance scenarios. Clothing appearance is represented by means of low-level extit{local} and/or extit{global} features of the image, usually extracted according to some part-based body model to treat different body parts (e.g. torso and legs) independently. This paper provides a comprehensive review of current approaches to build appearance descriptors for person re-identification. The most relevant techniques are described in detail, and categorised according to the body models and features used. The aim of this work is to provide a structured body of knowledge and a starting point for researchers willing to conduct novel investigations on this challenging topic.

연구 동기 및 목표

• 영상 감시 환경에서 사람 재식별을 위한 외관 기술자 기법에 대한 체계적이고 통합된 개요를 제공하는 것.
• 사용된 신체 모델 유형과 특징 표현 방식에 따라 기존 방법을 분류하는 것.
• 사람 재식별 분야에서 새로운 접근법을 탐색하는 연구자들에게 기초 자료로 기능하는 것.
• 비제약 환경에서 현재의 기술자 설계 전략의 강점과 한계를 분석하는 것.
• 전통적인 생체 인식 기법(예: 얼굴)이 불가능한 상황에서 옷차림 외관을 실용적인 세션 기반 생체 인식 신호로 강조하는 것.

제안 방법

• 논문은 표준 파이프라인인 사람 검출, 배경 분離, 그리고 국소 또는 전반적 영상 특징을 사용한 기술자 구축을 검토한다.
• 다른 신체 부위(예: 흉부, 다리)를 독립적으로 다룰 수 있도록 국소 기반 신체 모델을 사용해 기술자를 구성한다. 이는 비탄성 신체 자세에 대비한 유연성을 제공한다.
• 특징는 국소(예: 주목적 지점 주변의 색상 분포) 또는 전반적(예: 영상의 전체 색상 분포)으로 분류된다.
• 색상 히스토그램, 무늬 기술자(LBP 등), 딥 러닝 기반 특징 등의 특징 유형을 평가하지만, 후자는 깊이 있게 분석되지 않는다.
• 재식별 성능 향상을 위해 다수의 특징 세트를 융합하는 전략을 논의한다.
• 또한 RGB-D 센서(예: Kinect)에서 유래한 걸음걸이 및 체형 측정치와 같은 대체 신호를 조사하지만, 이는 비제약적, 다중 카메라 감시 환경에서는 부적합시된다고 판단된다.

실험 결과

연구 질문

• RQ1 다양한 신체 모델이 사람 재식별에서 외관 기술자의 설계 및 성능에 어떤 영향을 미치는가?
• RQ2 비제약적 감시 환경에서 옷차림 외관을 표현하는 데 있어 국소 특징과 전반적 특징 중 어떤 것이 더 효과적인가?
• RQ3 다양한 특징 세트를 융합하여 재식별 정확도를 향상시키는 데 직면한 주요 과제는 무엇인가?
• RQ4 걸음걸이 또는 체형 측정치와 같은 대체 생체 인식 신호가 실질적인 감시 시스템에서 옷차림 외관과 비교해 어떻게 성능을 내는가?
• RQ5 RGB-D 센서에서 추출한 체형 측정치가 실제 세계의 校정되지 않은, 다중 카메라 재식별 환경에서 얼마나 활용될 수 있는가?

주요 결과

• 옷차림 외관은 짧은 시간 동안의 고유성과 추출의 용이성 덕분에 대부분의 사람 재식별 방법에서 지배적인 신호로 남아 있다.
• 부분 기반 신체 모델은 서로 다른 신체 부위를 독립적으로 다룸으로써 기술자의 강인성을 크게 향상시키며, 자세나 시점 변화 문제를 완화한다.
• 색상 및 무늬 기술자(LBP 등)를 포함한 국소 특징은 널리 사용되며 특히 전반적 특징과 융합할 경우 효과적이다.
• 체형 측정치는 잠재력이 있지만, 비제약적 자세나 비면대칭 시점에서의 추출은 여전히 과제로 남아 있어 실용적 적용을 제한한다.
• RGB-D 센서(예: Kinect)는 실시간 3차원 관절 추정과 체형 측정이 가능하지만, 정면 또는 근접 정면 자세가 필요하며 일반적인 다중 카메라 감시 환경에는 부적합하다.
• 다양한 시도에도 불구하고 실제 환경에서의 부분적 가림, 시점 변화, 스케일 변화 등의 과제를 완전히 해결한 방법은 아직 없으며, 더 강인한 기술자 설계의 필요성을 시사한다.