[논문 리뷰] State-aware Re-identification Feature for Multi-target Multi-camera Tracking

Peng Li, Jiabin Zhang외 4명|arXiv (Cornell University)|2019. 06. 04.

Video Surveillance and Tracking Methods참고 문헌 65인용 수 4

한 줄 요약

이 논문은 다중 타깃 다중 카메라 추적(MTMCT)에서 인식 특징의 강건성을 향상시키기 위해 인간 자세 정보를 활용하여 가림 상태와 방향성을 추정하는 상태 인식 재식별(Re-ID) 특징을 제안한다. 클러스터 기반, 방향성 인식, 시간적 유효성 특징을 융합한 강력한 추적 특징과 재설계된 거리 행렬을 사용한 트랙렛 연관을 통해, DukeMTMCT 하드 시퀀스에서 81.3%의 IDF1을 달성하여 이전 모든 방법을 능가한다.

ABSTRACT

Multi-target Multi-camera Tracking (MTMCT) aims to extract the trajectories from videos captured by a set of cameras. Recently, the tracking performance of MTMCT is significantly enhanced with the employment of re-identification (Re-ID) model. However, the appearance feature usually becomes unreliable due to the occlusion and orientation variance of the targets. Directly applying Re-ID model in MTMCT will encounter the problem of identity switches (IDS) and tracklet fragment caused by occlusion. To solve these problems, we propose a novel tracking framework in this paper. In this framework, the occlusion status and orientation information are utilized in Re-ID model with human pose information considered. In addition, the tracklet association using the proposed fused tracking feature is adopted to handle the fragment problem. The proposed tracker achieves 81.3\% IDF1 on the multiple-camera hard sequence, which outperforms all other reference methods by a large margin.

연구 동기 및 목표

• 가림과 외관 변동으로 인한 정체성 전환과 트랙렛 분할 문제를 해결하기 위해.
• 검출기가 낮은 품질의 검출 결과를 내는 혼잡한 환경에서 Re-ID 특징의 신뢰성을 향상시키기 위해.
• 가림 상태와 방향성 정보를 Re-ID 특징 학습 과정에 통합하여 궤적의 일관성을 향상시키기 위해.
• 클러스터 기반, 방향성 인식, 시간적 유효성 특징을 융합한 강력한 융합 추적 특징을 설계하여 안정적인 데이터 연관을 확보하기 위해.
• 특히 도전적인 하드 시퀀스에서 DukeMTMCT 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 인간 자세 추정을 활용해 타깃 상태, 즉 가림 상태와 방향성을 추론하여 Re-ID 특징 추출을 안내한다.
• 현재 유효한 Re-ID 특징, 트랙렛에서 유도된 클러스터 기반 특징, 방향성 인식 특징을 융합한 추적 특징을 도입한다.
• 매우 높은 가림 상태의 프레임에서 신뢰할 수 없는 특징을 억제하기 위해 시간적 유효성 마스크($f_{invalid}$)를 적용한다.
• 가소성 있는 상태 인식 특징을 통합하여 가림 상태에서도 강건한 데이터 연관을 향상시키기 위해 새로운 거리 행렬을 설계한다.
• 오프라인 트랙렛 연관 전략을 적용: 먼저 짧은 트랙렛을 생성한 후, 이를 교정하고 클러스터링하여 분할 문제를 해결한다.
• 융합된 특징 거리 행렬 기반으로 헝가리안 알고리즘을 사용해 전역 궤적 매칭을 수행한다.

실험 결과

연구 질문

• RQ1 가림 상태와 방향성을 효과적으로 모델링하여 다중 카메라 추적에서 Re-ID 특징의 신뢰성을 향상시킬 수 있는가?
• RQ2 클러스터 기반, 방향성 인식, 시간적 유효성 특징을 융합하면 추적 성능이 얼마나 향상되는가?
• RQ3 상태 인식 특징을 기반으로 재설계된 거리 행렬이 정체성 전환과 궤적 분할을 줄이는 데 기여하는가?
• RQ4 제안된 트랙렛 연관 전략은 가림 상태를 다룰 때 프레임 단위 온라인 연관과 비교해 어떻게 성능을 냅니다?
• RQ5 각 구성 요소(자세 기반 상태, 클러스터, 방향성, 무효 마스크)가 최종 추적 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 트랙커는 DukeMTMCT 하드 시퀀스에서 81.3%의 IDF1을 달성하여 새로운 최신 기술 수준의 성능을 확립했다.
• 절단 분석 결과, 클러스터 기반 특징을 추가함으로써 베이스라인 대비 IDF1이 5.4% 향상되었다.
• 방향성 인식 특징을 추가하면 클러스터 전용 베이스라인 대비 IDF1이 추가로 2.6% 향상되었다.
• 시간적 무효 특징을 추가함으로써 정체성 전환 수는 6,564에서 5,466으로 감소했고, IDF1은 0.1% 향상되었다.
• 모든 구성 요소를 포함한 전체 모델은 trainval-mini 세트에서 85.2%의 IDF1을 기록하여 상태 인식 Re-ID 특징의 효과성을 입증했다.
• 이 방법은 벤치마크에서 발표된 바 있는 모든 방법과 발표되지 않은 방법을 모두 능가하며, 특히 혼잡하고 가림이 많은 환경에서의 강건성을 확인했다.