[논문 리뷰] Near-Online Multi-target Tracking with Aggregated Local Flow Descriptor

Wongun Choi|arXiv (Cornell University)|2015. 04. 09.

Video Surveillance and Tracking Methods참고 문헌 22인용 수 24

한 줄 요약

이 논문은 검출 간의 장기적 상대 운동 패턴을 집계된 관심점 궤적을 통해 모델링함으로써 데이터 연동을 향상시키는 새로운 집합적 국소 유속 기술자(Aggregated Local Flow Descriptor, ALFD)를 사용하는 근접 온라인 다중목표 추적(Near-Online Multi-target Tracking, NOMT) 프레임워크를 제안한다. ALFD는 먼 프레임 간에도 견고한 유사도 측정을 가능하게 하며, KITTI 및 MOT 벤치마크에서 기존 방법보다 10퍼센트 이상 높은 최신 기술 수준의 MOTA 점수를 기록하면서 실시간으로 작동(약 10 FPS)한다.

ABSTRACT

In this paper, we focus on the two key aspects of multiple target tracking problem: 1) designing an accurate affinity measure to associate detections and 2) implementing an efficient and accurate (near) online multiple target tracking algorithm. As the first contribution, we introduce a novel Aggregated Local Flow Descriptor (ALFD) that encodes the relative motion pattern between a pair of temporally distant detections using long term interest point trajectories (IPTs). Leveraging on the IPTs, the ALFD provides a robust affinity measure for estimating the likelihood of matching detections regardless of the application scenarios. As another contribution, we present a Near-Online Multi-target Tracking (NOMT) algorithm. The tracking problem is formulated as a data-association between targets and detections in a temporal window, that is performed repeatedly at every frame. While being efficient, NOMT achieves robustness via integrating multiple cues including ALFD metric, target dynamics, appearance similarity, and long term trajectory regularization into the model. Our ablative analysis verifies the superiority of the ALFD metric over the other conventional affinity metrics. We run a comprehensive experimental evaluation on two challenging tracking datasets, KITTI and MOT datasets. The NOMT method combined with ALFD metric achieves the best accuracy in both datasets with significant margins (about 10% higher MOTA) over the state-of-the-arts.

연구 동기 및 목표

• 복잡하거나 혼잡한 장면에서 전통적 지표가 실패하는 상황에서 정확한 데이터 연동 문제를 해결한다.
• 운동 모호성 또는 가림 등으로 인해 장기간 간격이 있는 검출 간을 신뢰성 있게 연결할 수 있는 강건하고 일반적인 유사도 측정 방법을 개발한다.
• 전역 최적화의 이점을 갖추면서도 온라인 인과성을 유지하는 효율적이고 정확한 추적 시스템을 설계하여 실시간 구현을 가능하게 한다.
• 외관, 운동, 장기적 궤적 정규화 등의 다중 측정값을 통합된 데이터 연동 프레임워크에 통합하여 추적 안정성을 향상시킨다.
• 시간 창 내에서 미래 관측치를 활용하여 이전 연동 오류를 수정함으로써 정체성 일관성을 향상시킨다.

제안 방법

• 두 검출 간의 상대 운동을 장기적 관심점 궤적(IPTs)을 집계함으로써 표현하는 집합적 국소 유속 기술자(ALFD)를 제안한다.
• 개별 궤적이 노이즈가 있거나 정확하지 않더라도 IPTs를 통해 검출 박스 간의 일관된 운동 패턴을 포착한다.
• 슬라이딩 시간 창 크기 τ 내에서 전역 데이터 연동 문제로 NOMT 알고리즘을 공식화하고, 매 프레임마다 이를 해결하여 인과성을 유지하고 오류 수정을 가능하게 한다.
• 조건부 무작위 장(CRF) 추론 프레임워크 내에서 ALFD, 외관 유사도(색상 히스토그램), 목표 동역학, 장기적 궤적 정규화를 통합한다.
• ALFD 기반 가설에 기반한 후보 트랙릿을 생성하고, CRF 추론을 통해 불일치와 분할을 최소화하는 전역 연동을 최적화한다.
• 다중 코어 CPU에서의 병렬 계산을 활용하여 실시간 성능(약 10 FPS)을 달성하며, 옵티컬 플로우 계산이 주요 성능 저하 원인이다.

실험 결과

연구 질문

• RQ1 장기적 궤적 패턴을 활용하는 운동 기반 유사도 측정법이 기존의 공간적 및 외관 기반 측정법보다 다중목표 추적에서 더 우수한 성능을 낼 수 있는가?
• RQ2 슬라이딩 시간 창을 갖춘 근접 온라인 추적 프레임워크는 실시간 성능을 유지하면서 과거의 연동 오류를 어느 정도 수정할 수 있는가?
• RQ3 외관, 운동, 장기적 궤적을 통합함으로써 복잡한 상황에서 추적의 강건성과 정확성이 얼마나 향상되는가?
• RQ4 제안된 ALFD 기술자가 가림, 빠른 카메라 운동, 유사한 외관을 가진 목표물이 있는 다양한 추적 환경에서 일반화 가능한가?
• RQ5 근접 온라인 추적 시스템에서 정확도와 지연 간의 상호 교환 관계는 어떠한가? 그리고 추적 품질을 희생시키지 않고도 실시간 성능를 달성할 수 있는가?

주요 결과

• Ablation 연구를 통해 ALFD 측정법이 기존의 유사도 측정법(예: 바운딩 박스 겹침, 외관 유사도)보다 뚜렷이 뛰어난 성능을 보였다.
• KITTI 데이터셋에서 ALFD를 사용한 NOMT는 최신 기술 수준의 방법보다 약 10퍼센트 높은 MOTA 점수를 기록하여 자율주행 환경에서 뛰어난 성능을 입증했다.
• MOT 챌린지 벤치마크에서 NOMT는 기존 방법과 비교해 14퍼센트 이상의 격차로 가장 높은 MOTA 점수를 기록했으며, 정체성 전환과 분할도 최소화했다.
• 2.5GHz 16코어 CPU에서 약 10 FPS의 실시간 성능를 달성했으며, IPTs의 옵티컬 플로우 계산이 주요 계산 병목 현상이었다.
• 지연 분석 결과, KITTI에서는 84.7%의 검출이 0.59초 이내에 연동되었고, MOT에서는 77.6%가 이 시간 이내에 처리되어 알고리즘이 근접 온라인 성격을 확인했다.
• 정성적 결과에서는 NOMT가 가림이나 빠른 카메라 운동 조건에서도 안정적인 정체성과 일관된 장기적 궤적을 생성함을 보여주었다.