[논문 리뷰] Spatial-Temporal Person Re-identification

Guangcong Wang, Jianhuang Lai외 2명|arXiv (Cornell University)|2018. 12. 08.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 10

한 줄 요약

이 논문은 시각적 의미 특징과 공간-시간 제약 조건(카메라 ID 및 타임스탬프)을 로지스틱 스무딩 기반의 공동 거리 측도를 사용해 공동으로 모델링하는 이중 스트림 공간-시간 개인 재식별(st-ReID) 프레임워크를 제안한다. 공간-시간 정보를 통합하여 관련 없는 갤러리 이미지를 걸러내는 방식으로, 복잡한 전처리나 후처리 없이 Market-1501에서 98.1%의 랭크-1 정확도와 DukeMTMC-reID에서 94.4%의 랭크-1 정확도를 달성하여 기존 방법들을 크게 능가한다.

ABSTRACT

Most of current person re-identification (ReID) methods neglect a spatial-temporal constraint. Given a query image, conventional methods compute the feature distances between the query image and all the gallery images and return a similarity ranked table. When the gallery database is very large in practice, these approaches fail to obtain a good performance due to appearance ambiguity across different camera views. In this paper, we propose a novel two-stream spatial-temporal person ReID (st-ReID) framework that mines both visual semantic information and spatial-temporal information. To this end, a joint similarity metric with Logistic Smoothing (LS) is introduced to integrate two kinds of heterogeneous information into a unified framework. To approximate a complex spatial-temporal probability distribution, we develop a fast Histogram-Parzen (HP) method. With the help of the spatial-temporal constraint, the st-ReID model eliminates lots of irrelevant images and thus narrows the gallery database. Without bells and whistles, our st-ReID method achieves rank-1 accuracy of 98.1\% on Market-1501 and 94.4\% on DukeMTMC-reID, improving from the baselines 91.2\% and 83.8\%, respectively, outperforming all previous state-of-the-art methods by a large margin.

연구 동기 및 목표

• 유사한 외모를 가진 개인, 다양한 조명 조건, 자세 변화 등으로 인한 외형의 모호성 문제를 해결하기 위해 노력한다.
• 감시 시스템에서 쉽게 확보할 수 있는 공간-시간 메타데이터(카메라 ID 및 타임스탬프)를 활용하여 ReID 성능을 향상시킨다.
• 이질적인 시각적 특징과 공간-시간 특징을 효과적으로 융합할 수 있는 통합된 공동 거리 측도를 개발한다.
• 기존 ReID 방법들이 시각적 특징에만 의존하여 갤러리 데이터셋 크기 증가와 모호성 문제로 인해 스케일링에 실패하는 한계를 극복한다.

제안 방법

• 이중 스트림 아키텍처를 도입한다: 하나의 스트림은 딥 네ural 네트워크(예: ResNet, DenseNet, PCB)를 통해 시각적 특징을 추출하고, 다른 스트림은 빠른 히스토그램-파르젠(HP) 방법을 사용해 공간-시간 확률 분포를 추정한다.
• 로지스틱 스무딩(LS)을 적용한 공동 유사도 측도를 제안하여 시각적 특징 거리와 공간-시간 확률을 결합함으로써 이질적인 정보의 효과적인 융합을 가능하게 한다.
• 히스토그램-파르젠(HP) 방법을 사용해 복잡한 공간-시간 분포를 모델링하며, 주어진 시간 창 내에서 특정 카메라에서 한 사람이 나타날 확률을 근사한다.
• 시각적 스트림과 공간-시간 스트림의 기여도를 균형 있게 조절하기 위해 수축 인자 γ와 스무딩 인자 λ를 적용한다.
• 추가적인 재랭킹 또는 후처리가 필요 없이, 공동 거리 측도를 엔드 투 엔드로 최적화할 수 있도록 통합 손실 함수를 사용한다.
• 카메라 간의 구조적 관계와 시간 제약 조건을 활용하여 불가능한 이미지 쌍(예: 짧은 시간 내에 두 개의 거리가 먼 카메라에 동시에 등장할 수 없는 경우)을 제거함으로써 갤러리 크기를 줄이고 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 공간-시간 정보(카메라 ID 및 타임스탬프)가 대규모이고 겹치지 않는 카메라 네트워크에서 개인 재식별 성능을 크게 향상시킬 수 있는가?
• RQ2 시각적 특징과 공간-시간 특징를 어떻게 효과적으로 하나의 통합된 유사도 측도로 융합할 수 있는가?
• RQ3 제안된 st-ReID 프레임워크가 복잡한 데이터 증강 또는 재랭킹 기법에 의존하지 않고도 최고 성능을 달성할 수 있는가?
• RQ4 다양한 딥 러닝 백본과 데이터셋에 적용했을 때 st-ReID 프레임워크의 성능은 얼마나 견고한가?

주요 결과

• st-ReID 프레임워크는 Market-1501에서 98.1%의 랭크-1 정확도와 DukeMTMC-reID에서 94.4%의 랭크-1 정확도를 기록하여 베이스라인(91.2% 및 83.8%)과 모든 이전 최고 성능 방법들을 크게 능가한다.
• 절단 실험을 통해 시각적 스트림을 제거할 경우 랭크-1 정확도가 5.5%로 급격히 감소함을 확인하여, 이가 모델 성능에 결정적인 역할을 한다는 것을 입증한다.
• 공간-시간 스트림을 제거하면 랭크-1 정확도가 10.2% 감소(94.0% → 83.8%)함을 통해 공간-시간 제약 조건이 상당한 기여를 한다는 것을 입증한다.
• 로지스틱 스무딩을 적용한 공동 측도는 별도로 정규화하는 방식에 비해 성능을 86.9%에서 94.0%로 향상시켜 융합의 효과성을 입증한다.
• 다양한 백본 네트워크에 대해 모델이 잘 일반화됨을 확인: ResNet-50, DenseNet-121, PCB 모두 ST 스트림과 결합할 경우 10% 이상의 성능 향상을 보였다.
• 재랭킹 기법을 적용한 결과 mAP가 92.7%에 도달하여 실무 적용에서 추가 성능 향상 잠재력을 보여준다.