[논문 리뷰] Multiple People Tracking Using Hierarchical Deep Tracklet Re-identification

Maryam Babaee, Ali Athar외 1명|arXiv (Cornell University)|2018. 11. 09.

Video Surveillance and Tracking Methods참고 문헌 48인용 수 21

한 줄 요약

이 논문은 다중 사람 추적를 위한 계층적 딥 트랙릿 재식별 프레임워크를 제안하며, 다단계 딥 네트워크를 통해 시각적 외관과 시공간적 특징을 동시에 모델링하여 장기적 가림을 개선한다. 이 방법은 제약 조건이 붙은 최소비용 다중 컷 공식을 사용해 트랙릿을 계층적으로 클러스터링하며, MOT16 및 MOT17에서 최신 기술 수준 성능을 달성하여 MOTA가 54.1%에 달하며, 이는 이전 방법보다 각각 4.8%와 2.7% 향상된 성능이다.

ABSTRACT

The task of multiple people tracking in monocular videos is challenging because of the numerous difficulties involved: occlusions, varying environments, crowded scenes, camera parameters and motion. In the tracking-by-detection paradigm, most approaches adopt person re-identification techniques based on computing the pairwise similarity between detections. However, these techniques are less effective in handling long-term occlusions. By contrast, tracklet (a sequence of detections) re-identification can improve association accuracy since tracklets offer a richer set of visual appearance and spatio-temporal cues. In this paper, we propose a tracking framework that employs a hierarchical clustering mechanism for merging tracklets. To this end, tracklet re-identification is performed by utilizing a novel multi-stage deep network that can jointly reason about the visual appearance and spatio-temporal properties of a pair of tracklets, thereby providing a robust measure of affinity. Experimental results on the challenging MOT16 and MOT17 benchmarks show that our method significantly outperforms state-of-the-arts.

연구 동기 및 목표

• 탐지 수준의 연관보다 트랙릿 수준의 재식별을 활용하여 장기적 가림 상황을 개선한다.
• 장기적인 가림과 복잡한 환경에서 실패하는 이원 검출 유사도 방법의 한계를 극복한다.
• 시각적 외관과 시공간적 동역학을 동시에 모델링하여 혼잡하고 동적인 환경에서의 연관 오류를 줄인다.
• 계층적 클러스터링 전략을 통해 카메라 운동과 환경 조건의 변화에 대비한 추적의 강건성을 향상시킨다.

제안 방법

• 다단계 딥 신경망을 학습하여 트랙릿의 시각적 외관과 시공간적 특징을 동시에 추론하도록 하여 수작업으로 만든 특징이 필요 없도록 한다.
• 딥 네트워크를 사용해 트랙릿 유사도를 계산하여 데이터 연관에 대한 강력한 유사도 측정값을 생성한다.
• 프레임 간격 임계값을 점진적으로 증가시키며, 처음에는 1, 2, 4로 시작하여 이후 트랙릿 길이의 4배로 확장하는 방식으로 트랙릿을 반복적으로 병합하는 계층적 클러스터링 전략을 적용한다.
• 클러스터링 과정은 제약 조건이 붙은 최소비용 다중 컷 문제로 모델링되며, Kernighan-Lin with Joins 알고리즘의 확장 버전을 사용해 해결한다.
• 반복 과정에서 프레임 간격 제약 조건을 동적으로 완화하여 수렴 속도와 가림에 대한 강건성을 균형 잡는다.
• 최종 트랙릿 할당은 분할과 잡음을 최소화하는 그래프 기반 공식을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 트랙릿 내에서 시각적 외관과 시공간적 특징을 동시에 모델링하면 장기적 추적 성능이 유의미하게 향상되는가?
• RQ2 복잡하고 혼잡한 환경에서 계층적 트랙릿 클러스터링이 단일 단계의 검출 또는 트랙릿 연관보다 우수한가?
• RQ3 엔드 투 엔드 딥 네트워크가 다양한 카메라 파rameter와 운동 조건에 일반화되면서 수작업으로 만든 시공간적 특징을 대체할 수 있는가?
• RQ4 적응형 프레임 간격 완화를 적용한 제안된 클러스터링 방식이 추적 정확도와 강건성에 어떤 영향을 미치는가?
• RQ5 최신 기술 수준의 트랙커와 비교해 이 방법이 ID 전환과 궤적 분할을 얼마나 줄이는가?

주요 결과

• 제안된 트랙커는 MOT17 벤치마크에서 54.1%의 MOTA를 달성하여 이전 최신 기술 수준 대비 2.7% 향상되었다.
• MOT16 벤치마크에서는 54.1%의 MOTA를 기록하여 이전 최고 성능 방법보다 4.8%의 절대적 향상이 있었다.
• MOT17에서 트랙커는 가장 낮은 수의 가짜 양성(18,002개)과 가짜 음성(238,818개)을 기록하여 검출 연관의 우수성을 입증했다.
• MOT17에서 가장 높은 대부분 추적 대상(MT) 비율(23.3%)과 가장 낮은 대부분 실종 비율(ML) 비율(34.8%)을 기록하여 강력한 가림 처리 능력을 입증했다.
• MOT17에서 ID 전환 수를 2,693건으로 줄여 정체성 일관성이 향상되었지만, 카메라 운동이 심한 상황에서는 여전히 도전 과제로 남아 있다.
• 제거 분석 결과, 외관과 시공간적 특징의 공동 학습이 별도의 특징 엔지니어링 및 융합 전략보다 유의미하게 뛰어난 성능을 내는 것으로 확인되었다.