[논문 리뷰] Learning to Divide and Conquer for Online Multi-Target Tracking

Francesco Solera, Simone Calderara외 1명|arXiv (Cornell University)|2015. 09. 14.

Video Surveillance and Tracking Methods참고 문헌 1인용 수 14

한 줄 요약

이 논문은 공간적 및 운동적 일관성 기반으로 Correlation Clustering를 사용해 추적을 국소적 하위 문제들로 동적으로 분할하고, 확장된 헝가리안 알고리즘을 통해 간단하거나 복잡한 특징을 선택적으로 적용하는 온라인 다중대상 추적 방법을 제안한다. 이 프레임워크는 잠재 구조적 서포트 벡터 머신(Latent Structural SVM)을 통해 엔드 투 엔드로 훈련되며, 장면 복잡도에 따라 특징 사용을 지능적으로 균형 잡음으로써 공개 벤치마크에서 최신 기술 대비 MOTA 10% 향상 달성.

ABSTRACT

Online Multiple Target Tracking (MTT) is often addressed within the tracking-by-detection paradigm. Detections are previously extracted independently in each frame and then objects trajectories are built by maximizing specifically designed coherence functions. Nevertheless, ambiguities arise in presence of occlusions or detection errors. In this paper we claim that the ambiguities in tracking could be solved by a selective use of the features, by working with more reliable features if possible and exploiting a deeper representation of the target only if necessary. To this end, we propose an online divide and conquer tracker for static camera scenes, which partitions the assignment problem in local subproblems and solves them by selectively choosing and combining the best features. The complete framework is cast as a structural learning task that unifies these phases and learns tracker parameters from examples. Experiments on two different datasets highlights a significant improvement of tracking performances (MOTA +10%) over the state of the art.

연구 동기 및 목표

• 정적 카메라 환경에서 빈번한 가림과 검출 오류가 발생하는 상황에서 온라인 다중대상 추적 과제를 해결하기 위해.
• 가능한 한 신뢰할 수 있는 공간적 특징을 선택적으로 사용하고, 필요할 경우에만 복잡한 외관 또는 운동 특징을 유지하여 추적의 모호성을 줄이기 위해.
• 업무 분담과 특징 선택을 하나의 학습 가능한 구조적 예측 프레임워크로 통합하기 위해.
• 오프라인 최적화나 복잡한 목표 모델에 의존하지 않고도 온라인 추적의 강건성과 정확도를 향상시키기 위해.
• 공간적 단서를 먼저 활용하고 필요할 경우에만 깊이 있는 표현을 사용하는 인간의 인지 방식을 모델링하기 위해.

제안 방법

• 트래커는 공간적 및 운동적 일관성 기반으로 전역 할당 문제를 국소적 하위 문제들로 분할하기 위해 Correlation Clustering를 사용한다.
• 헝가리안 알고리즘에 대한 새로운 확장은 단순(공간적) 특징과 복잡한(외관/운동) 특징을 비용 함수로 조합함으로써 동적 특징 선택을 가능하게 한다.
• 프레임워크는 잠재 구조적 서포트 벡터 머신(LSSVM)을 통해 훈련되며, 클러스터링을 위한 친화도 측정과 할당을 위한 최적의 특징 조합을 함께 최적화한다.
• 이 방법은 장면의 복잡도(예: 혼잡도 및 가림 정도)에 따라 단순성과 복잡성의 균형을 맞추며 검출 결과를 트랙에 할당하는 방식으로 학습한다.
• 트래커는 프레임 단위로 작동하며, 라벨이 붙은 예시로부터 매개변수를 개선하면서도 실시간 성능를 유지한다.
• 이 접근은 이중 스트림 가설을 영감으로 받아, 공간적(편측) 및 외관/운동(시계열) 처리 경로를 분리한다.

실험 결과

연구 질문

• RQ1 지역적 장면 복잡도에 따라 특징을 동적으로 선택함으로써 온라인 다중대상 추적 성능을 향상시킬 수 있는가?
• RQ2 할당 문제를 더 작은 국소적 하위 문제들로 효과적으로 분해함으로써 추적의 모호성을 줄일 수 있는가?
• RQ3 하위 문제 분할과 특징 선택을 동시에 최적화하는 통합 학습 프레임워크는 더 높은 추적 정확도를 달성할 수 있는가?
• RQ4 간단한 공간적 단서를 우선적으로 사용하고, 필요할 경우에만 복잡한 특징을 예약함으로써 강건성 향상과 오류 전파 감소를 달성할 수 있는가?
• RQ5 잠재 구조적 서포트 벡터 머신과 같은 구조적 학습 접근법이 다양한 추적 시나리오에 일반화할 수 있도록 트래커를 효과적으로 훈련시킬 수 있는가?

주요 결과

• 제안된 트래커는 공개 벤치마크에서 최신 기술 대비 MOTA 10% 향상 달성하여 MOT Challenge 데이터셋에서 평균 MOTA 43.1% 기록.
• MCD 데이터셋의 PETS09-S2-L2 시퀀스에서 47.4% MOTA 기록하여 다음으로 우수한 방법(44.9%)보다 2.5%포인트 높음.
• 제거 실험 결과 단순 특징만 사용할 경우 MOTA 35.7%로 나타나지만, 모든 특징을 사용할 경우 성능이 41.3%로 떨어지며 특징 선택의 중요성을 입증함.
• 정체성 전환(_IDS)과 잡음 검출(FP)을 크게 줄였으며, PETS09-S2-L2에서 IDS 297건 기록(기본 모델 대비 411건)으로 개선됨.
• 혼잡한 장면에서도 높은 성능 유지하여 GVEII 시퀀스(630명의 보행자 포함)에서 65.6% MOTA 기록하며 정확도와 강건성 면에서 경쟁자들을 압도함.
• 장면 복잡도에 기반한 특징 선택을 통한 선택적 특징 사용이 고정된 특징 체계에 비해 더 나은 일반화 능력과 오류 전파 감소를 이끌어내는 것으로 나타남.