[논문 리뷰] Person Re-identification for Real-world Surveillance Systems

Furqan Khan, François M Brémond|arXiv (Cornell University)|2016. 07. 20.

Video Surveillance and Tracking Methods참고 문헌 12인용 수 18

한 줄 요약

이 논문은 다중 저수준 특징을 통해 다중 모odal 변동성을 포착하는 가우시안 혼합 모델(GMM)로 사람의 외형을 모델링하는 다중 채널 외형 혼합(MCAM)을 사용하는 새로운 비지도 다중 샷 인물 재식별 방법을 제안한다. 지도 학습 없이 f-divergence와 공동 코드화를 조합하여 유사도 측정을 수행함으로써, PRID2011, iLIDS-VID, SAIVT-SoftBio에서 최신 기준 성능(SOTA)을 달성하며, 비지도 및 많은 지도 학습 방법을 능가한다. 이는 고비용의 레이블링 요구 사항을 제거한다.

ABSTRACT

Appearance based person re-identification in a real-world video surveillance system with non-overlapping camera views is a challenging problem for many reasons. Current state-of-the-art methods often address the problem by relying on supervised learning of similarity metrics or ranking functions to implicitly model appearance transformation between cameras for each camera pair, or group, in the system. This requires considerable human effort to annotate data. Furthermore, the learned models are camera specific and not transferable from one set of cameras to another. Therefore, the annotation process is required after every network expansion or camera replacement, which strongly limits their applicability. Alternatively, we propose a novel modeling approach to harness complementary appearance information without supervised learning that significantly outperforms current state-of-the-art unsupervised methods on multiple benchmark datasets.

연구 동기 및 목표

• 실제 감시 시스템에서 지도 학습 기반 인물 재식별 방법의 높은 레이블링 비용과 이식성 부족 문제를 해결한다.
• 다중 샷 재식별에서 자세, 시점, 조명, 가림 등으로 인한 외형 변동에 대한 강건성을 향상시킨다.
• 지도 학습 기반 거리 측정이 필요 없는 확장 가능한, 카메라에 종속되지 않는 서명 표현 방식을 개발한다.
• 색상, 형태, 질감 등의 보완적 특징을 독립적인 GMM 모델링을 통해 효과적으로 융합한다.
• 반복적인 레이블링이 필요 없이 오직 비지도 유사도 측정을 통해 높은 재식별 정확도를 달성하며, 시스템 확장 후에도 반복 레이블링 비용을 제거한다.

제안 방법

• 각 사람의 외형을 다중 채널 외형 혼합(MCAM)으로 표현하며, 각 특징(예: 색상, 질감)을 독립적으로 가우시안 혼합 모델(GMM)로 모델링한다.
• 운동 또는 시점 정보에 의존하지 않고, 저수준 특징의 분산을 이용해 사람의 다중 외형 모드를 탐지한다.
• GMM 간의 f-divergence와 공동 코드화 기반 거리 측정을 조합하여 외형 서명 간의 유사도를 계산한다.
• 색상, 형태, 질감 등의 보완적 특징을 통합된 서명 표현으로 융합하면서도 특징의 독립성을 유지한다.
• 지도 학습 기반 거리 측정을 피하기 위해 통계적 발산과 딕셔너리 코드화에 의존함으로써, 카메라 네트워크 간 확장성과 이식성을 보장한다.
• 메트릭 학습을 위한 정답 레이블이 필요 없이, 단지 추적된 사람 검출 결과와 바운딩 박스만을 사용해 시스템을 종단 간(end-to-end)으로 학습한다.

실험 결과

연구 질문

• RQ1 지도 학습 기반 메트릭 학습이나 광범위한 인간 레이블링 없이도 다중 샷 인물 재식별 시스템이 최신 기준 성능(SOTA)을 달성할 수 있는가?
• RQ2 실제 감시 환경에서 가우시안 혼합 모델(GMM)이 카메라 간 다중 모달 외형 변동을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 f-divergence와 공동 코드화를 조합한 방법이 비지도 재식별에서 전통적인 유사도 측정 방법보다 얼마나 뛰어난가?
• RQ4 각 특징을 GMM로 독립적으로 모델링하는 서명 표현 방식이 통합 모델링 접근 방식보다 보다 효과적으로 보완 정보를 유지할 수 있는가?
• RQ5 카메라 전용 학습 없이도 동적 카메라 추가 또는 교체가 가능한 실세계 시스템에 대해 이 방법이 어떻게 확장 가능한가?

주요 결과

• PRID2011 데이터셋에서 MCAM-LR+CRCS는 랭크-1 정확도 39.9%를 기록하여 모든 비지도 방법을 능가했으며, 최고의 지도 학습 방법인 STFV3D+KISSME(43.8%)에 거의 근접했다.
• iLIDS-VID에서 MCAM-LR+CRCS는 랭크-1 정확도 39.9%를 기록하여 모든 비지도 기반 방법을 뛰어넘었으며, 21프레임의 트랙 길이 요구 없이도 STFV3D+KISSME(43.8%)에 비해 약간 뒤진 성능을 보였다.
• 지도 학습 기반 메트릭 학습 없이도 SAIVT-SoftBio, PRID2011, iLIDS-VID에서 최신 기준 성능(SOTA)을 달성하여 다양한 데이터셋 간 강력한 일반화 능력을 입증했다.
• MCAM은 MTL-LORAE나 DVR과 같은 일부 지도 학습 방법조차도 능가했으며, 개선된 서명 표현 방식이 메트릭 학습의 부재를 상쇄할 수 있음을 시사했다.
• 외형 변동에 강건하며 트랙 길이 제약 조건이 없어, 다양한 트랙 품질을 가진 실세계 시스템에 적합하다.
• 카메라 네트워크 확장 후에도 반복적인 레이블링 비용을 피할 수 있다. 카메라별 모델이나 재학습에 의존하지 않기 때문이다.