[논문 리뷰] Tracking with multi-level features

Roberto Henschel, Laura Leal-Taixé외 2명|arXiv (Cornell University)|2016. 07. 25.

Video Surveillance and Tracking Methods참고 문헌 36인용 수 17

한 줄 요약

이 논문은 다수의 사람을 추적하기 위해 다중 수준 특징(감지 결과 및 조밀한 점 트랙릿)의 시간적 연결과 공간적 군집화를 동시에 최적화하는 글로벌 2차 프ogramming(Quadratic Programming, QP) 설정을 제안한다. NP-hard인 QP 문제를 시간적 연결을 위한 효율적인 선형 프로그래밍과 공간적 군집화를 위한 스펙트럴 클러스터링으로 분해함으로써, QP 목적 함수가 자동으로 최적의 클러스터 수를 결정하게 하여, 추적-기반 방법과 저수준 특징 방법에 비해 상태 최신 정확도를 달성하고 정체성 전환을 크게 줄였다.

ABSTRACT

We present a novel formulation of the multiple object tracking problem which integrates low and mid-level features. In particular, we formulate the tracking problem as a quadratic program coupling detections and dense point trajectories. Due to the computational complexity of the initial QP, we propose an approximation by two auxiliary problems, a temporal and spatial association, where the temporal subproblem can be efficiently solved by a linear program and the spatial association by a clustering algorithm. The objective function of the QP is used in order to find the optimal number of clusters, where each cluster ideally represents one person. Evaluation is provided for multiple scenarios, showing the superiority of our method with respect to classic tracking-by-detection methods and also other methods that greedily integrate low-level features.

연구 동기 및 목표

• 추적-기반 방법이 경계 상자 감지 결과에만 의존하고 풍부한 저수준 및 중간 수준 영상 정보를 기각한다는 한계를 해결하기 위해.
• 저수준 조밀한 점 트랙과 중간 수준 감지 결과를 통합하여 단일 최적화 프레임워크로 통합하는 원칙적인 글로벌 설정을 개발하기 위해.
• 전체 2차 프로그래밍을 직접 풀 경우 계산상 비가능한 문제를 해결하기 위해, 이를 효율적인 부분 문제로 분해하기 위해.
• QP 목적 함수를 활용해 클러스터 수(즉, 사람 수)를 강인하게 결정함으로써 수동 또는 히ュ리스틱 선택이 필요 없도록 하기 위해.
• 차폐 및 고밀도 보행자 환경과 같은 과제가 있는 상황에서 추적 정확도를 향상시키고 정체성 전환을 줄이기 위해.

제안 방법

• 시간적 연결된 특징을 트랙으로 묶고 공간적 군집화를 통해 개인별 궤적을 도출하는 단일 2차 프로그래밍(QP) 문제로 다중 타겟 추적을 설정하며, 선형 제약 조건을 포함한다.
• QP 문제를 두 개의 부분 문제로 분해: 시간적 연관은 최적의 효율적인 트랙 연결을 위해 선형 프로그래밍 근사법으로 해결한다.
• 공간적 연관에는 스펙트럴 클러스터링을 사용하며, 클러스터 수는 QP 목적 함수에 의해 결정되어 강인성을 확보한다.
• 저수준 특징인 조밀한 점 트랙릿과 중간 수준 특징인 감지 결과를 입력 특징으로 통합하여 구조적 및 운동 정보를 활용한다.
• 이중 단계 근사법을 적용: 먼저 시간적 LP를 풀어 트랙릿을 생성하고, 그 다음 QP 비용에서 유도된 유사도 행렬을 기반으로 스펙트럴 클러스터링을 통해 트랙릿을 정체성으로 군집화한다.
• 모든 QP 목적 함수를 최적의 클러스터 수 선택 기준으로 활용하여, 히ュ리스틱 또는 외부 추정이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 저수준 운동 신호(조밀한 점 트랙)와 중간 수준 감지 신호(경계 상자)를 통합하는 통합 글로벌 최적화 프레임워크가 다중 사람 추적에 효과적으로 기여할 수 있는가?
• RQ2 NP-hard인 QP 문제를 시간적 연관을 위한 선형 프로그래밍과 공간적 군집화를 위한 스펙트럴 클러스터링으로 분해함으로써 계산상 타당하고 정확한 해를 도출할 수 있는가?
• RQ3 QP 목적 함수를 활용해 사람 수(클러스터 수)를 자동으로 강인하게 결정할 수 있으며, 히ュ리스틱적 클러스터 수 선택보다 뛰어난 성능을 내는가?
• RQ4 혼잡하고 차폐가 많은 환경에서 상태 최신 추적-기반 및 저수준 특징 방법과 비교해 제안된 방법은 정확도, 정체성 전환 횟수, 궤적 안정성 측면에서 어떤가?
• RQ5 MOTChallenge 및 ETH-Jelmoli와 같은 과도한 벤치마크에서 다중 수준 특징 통합이 추적 성능 향상에 얼마나 기여하는가?

주요 결과

• PETS09 벤치마크에서 제안된 방법은 37.9%의 추적 정확도(TA)를 달성하여 LP2D(19.8%) 및 기타 추적-기반 방법을 능가했으며, 정체성 전환 횟수는 414로 LP2D의 1649에 비해 크게 감소했다.
• AVG-TownCentre 시퀀스에서 제안된 방법은 64.2%의 TA와 89.3%의 정밀도를 기록하여 LP2D(61.6% TA, 89.3% 정밀도)와 Benfold 등(58.6% TA)보다 정확도 향상과 정체성 전환 감소에서 뛰어났다.
• MOTChallenge 테스트 세트에서 제안된 방법은 27.5%의 TA와 70.6%의 TP를 달성하여 LP2D(19.8% TA, 71.2% TP)보다 정확도에서 약 8个百分点 향상되었고, 정체성 전환 횟수는 절반 이하로 감소시켰다.
• PETS09에서 정체성 전환 횟수는 414로, LP2D(1649)보다 크게 감소했으며, AVG-TownCentre에서도 231로 LP2D(245)보다 낮아, 궤적 안정성 측면에서 뛰어난 성능을 입증했다.
• QP 목적 함수를 활용해 클러스터 수를 결정함으로써 외부 히ュ리스틱이나 수동 조정 없이 강인하고 정확한 클러스터 선택이 가능했다.
• 궤적 후처리 없이 MOTChallenge에서 최신 기술 수준의 성능을 달성하여, 다중 수준 특징 통합의 효과성을 입증했다.