[논문 리뷰] Deep Person Re-identification for Probabilistic Data Association in Multiple Pedestrian Tracking

Brian H. Wang, Yan Wang외 2명|arXiv (Cornell University)|2018. 10. 19.

Video Surveillance and Tracking Methods참고 문헌 11인용 수 6

한 줄 요약

이 논문은 다중 보행자 추적을 위한 확률적 데이터 연동 프레임워크에 딥 퍼스널 리아이덴티피케이션(리-ID) 특징을 통합하는 것을 제안한다. 자세, 시점, 배경 변화에 대해 불변인 딥 컨volution 특징을 활용함으로써, 이 방법은 ID 스위치를 크게 감소시켰다. PETS09-S2L1에서 80% 감소(30에서 6으로), MOT17-04에서 48% 감소(160에서 83으로)를 기록하여, 가림과 경로 교차 상황에서도 더 뛰어난 내성성을 입증하였다.

ABSTRACT

We present a data association method for vision-based multiple pedestrian tracking, using deep convolutional features to distinguish between different people based on their appearances. These re-identification (re-ID) features are learned such that they are invariant to transformations such as rotation, translation, and changes in the background, allowing consistent identification of a pedestrian moving through a scene. We incorporate re-ID features into a general data association likelihood model for multiple person tracking, experimentally validate this model by using it to perform tracking in two evaluation video sequences, and examine the performance improvements gained as compared to several baseline approaches. Our results demonstrate that using deep person re-ID for data association greatly improves tracking robustness to challenges such as occlusions and path crossings.

연구 동기 및 목표

• 가림, 혼잡한 군중, 경로 교차 상황에서 정확한 데이터 연동을 달성하는 데 도전한다.
• 공간적 위치 외에도 딥 러닝 기반의 퍼스널 리아이덴티피케이션을 외관 특징으로 통합하여 추적의 내성성을 향상시킨다.
• 실제 환경의 추적 시퀀스에서 확률적 데이터 연동 모델에 딥 리-ID 특징의 효과를 검증한다.
• 외관 기반 리아이덴티피케이션은 위치 전용 또는 간단한 색상 히스토GRAM 방법에 비해 ID 스위치를 얼마나 줄이는지 확인한다.

제안 방법

• 사전 훈련된 리-ID 네트워크를 사용해 보행자 검출에서 딥 컨volution 특징을 추출하여, 시점, 자세, 배경 변화에 대해 불변인 외관 임베딩을 생성한다.
• 공간적 근접도와 함께 외관 가능성도 통합한 확률적 데이터 연동 모델에 이러한 리-ID 특징을 통합한다.
• 관측치가 추적 중인 사람에게 속할 가능성의 확률을 계산하는 가능성 모델을 사용하며, 이는 외관 임베딩 거리와 공간 거리 양쪽을 기반으로 한다.
• 순차적 추적 파이프라인에서 프레임 단위로 반복적으로 모델을 적용하며, Rao-Blackwellized 입자 필터를 사용해 다중 가설을 유지한다.
• 대규모 보행자 리-ID 데이터셋에서 훈련하여 다양한 신원 간의 분류 가능한 특징 학습을 보장한다.
• 데이터 연동 결정 과정에서 위치와 리-ID 가능성의 가중 융합 전략을 사용한다.

실험 결과

연구 질문

• RQ1 딥 퍼스널 리아이덴티피케이션 특징은 도전적인 조건에서 다중 보행자 추적의 데이터 연동 성능을 향상시킬 수 있는가?
• RQ2 리-ID 특징의 포함 여부가 위치 전용 또는 색상 히스토GRAM 기반의 외관 모델에 비해 ID 스위치를 얼마나 줄이는가?
• RQ3 딥 리-ID의 통합이 가림과 경로 교차 상황에서 추적의 내성성을 얼마나 향상시키는가?
• RQ4 리-ID의 정량적 영향은 다양한 영상 시퀀스에서 표준 추적 지표(MOTA 및 MOTP)에 대해 어떠한가?

주요 결과

• PETS09-S2L1 시퀀스에서 위치 전용 데이터 연동 대비 리-ID 특징 통합으로 ID 스위치가 80% 감소(30에서 6으로)하였다.
• 더 복잡한 MOT17-04 시퀀스에서는 리-ID를 위치와 함께 사용함으로써 ID 스위치가 48% 감소(160에서 83으로)하였다.
• 색상 히스토GRAM 기반 베이스라인은 성능이 열악하여 실제 레이블보다 더 많은 가짜 트랙을 생성하여 MOTA 점수가 음수를 기록하였다.
• MOTP는 리-ID를 통합해도 거의 변화가 없었으며, 이는 국소화 정확도가 손상되지 않았음을 의미하지만, 트랙의 연속성은 향상된 것으로 관찰되었다.
• 정성적 분석을 통해 리-ID가 가림과 경로 교차 상황에서 ID 스위치를 방지하고 일관된 정체성 할당을 유지함을 확인하였다.
• 이 방법은 농도가 높은 보행자 환경과 복잡한 상호작용 상황에서도 뛰어난 내성성을 보였으며, 딥 리-ID가 신뢰할 수 있는 외관 특징으로 효과적임을 입증하였다.