[논문 리뷰] A Novel Multi-Detector Fusion Framework for Multi-Object Tracking

Roberto Henschel, Laura Leal-Taixé외 2명|arXiv (Cornell University)|2017. 05. 23.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 14

한 줄 요약

이 논문은 다중 감지기 융합 프레임워크를 제안하며, 다중 객체 추적 문제를 가중치가 부여된 그래프 레이블링 문제로 공식화하고, 새로운 프랭크-울프 기반 최적화 기법을 통해 해결함으로써, 다중 감지기 및 다중 프레임에서의 정보를 종합적으로 통합할 수 있도록 한다. 이 방법은 MOT16에서 최고 성능을 기록하고 MOT17 대회에서 우승하며, 가림과 오진을 줄이는 데 있어 추적의 강건성을 크게 향상시킨다.

ABSTRACT

In order to track all persons in a scene, the tracking-by-detection paradigm has proven to be a very effective approach. Yet, relying solely on a single detector is also a major limitation, as useful image information might be ignored. This work demonstrates how to incorporate several detectors into a tracking system, using a novel multi-object tracking formulation. We cast tracking as a weighted graph labeling problem, resulting in a binary quadratic program. As such problems are NP-hard, the solution can only be approximated. Based on the Frank-Wolfe algorithm, we present a new solver that is crucial to handle such difficult problems. As a result, the tracker can take information from many frames and different detectors holistically into account. When applied with head and full-body detections, the fusion helps to recover heavily occluded persons and to reduce false positives. Evaluation on pedestrian tracking is provided for multiple scenarios, showing superior results over single detector tracking and standard QP-solvers. Finally, our tracker performs state-of-the-art on the MOT16 benchmark and is the winner of the MOT17 challenge.

연구 동기 및 목표

• 단일 감지기 추적의 한계를 극복하기 위해 다중 감지기 간 상보적인 정보를 활용하기 위해.
• 중요한 시나리오인 강한 가림과 오진을 줄이기 위해 추적 성능을 향상시키기 위해.
• 다중 객체 추적 공식화에서 발생하는 NP-난이도 이진 제곱 최적화 문제를 효율적으로 해결하기 위한 솔버를 개발하기 위해.
• 통합된 추적 프레임워크 내에서 다중 프레임 및 다중 감지기 정보를 종합적으로 융합할 수 있도록 하기 위해.

제안 방법

• 추적 문제는 객체 간 연관 관계를 이진 제곱 최적화 문제로 모델링하는 가중치가 부여된 그래프 레이블링 문제로 공식화된다.
• NP-난이도 최적화 문제의 효율적 근사해를 도출하기 위해 프랭크-울프 알고리즘 기반의 새로운 솔버가 제안된다.
• 다양한 감지기(예: 머리 및 전신)의 검출 점수를 그래프 레이블링 공식화에 통합함으로써 융합된다.
• 다중 프레임과 감지기를 동시에 최적화함으로써 장거리 시간적 추론과 더 높은 강건성을 달성한다.
• 최적화 프레임워크는 시간과 감지기 유형 간 검출 증거를 종합적으로 고려할 수 있도록 한다.
• 복잡한 실세계 추적 시나리오, 특히 가림 상황에서도 스케일이 가능하고 효과적인 설계가 되어 있다.

실험 결과

연구 질문

• RQ1 다중 감지기를 효과적으로 융합하여 다중 객체 추적 성능을 향상시킬 수 있는가?
• RQ2 새로운 최적화 솔버를 갖춘 그래프 기반 공식화가 어려운 상황에서 단일 감지기 추적을 능가할 수 있는가?
• RQ3 다중 프레임 및 다중 감지기 융합이 오진을 얼마나 줄이고, 가려진 객체를 얼마나 회복할 수 있는가?
• RQ4 제안된 솔버가 MOT16 및 MOT17과 같은 표준 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 추적기는 MOT16 벤치마크에서 기존의 단일 감지기 및 표준 QP-솔버 기반 방법들을 능가하는 최고 성능을 기록한다.
• 제안된 추적기는 MOT17 대회에서 우승하여 실제 다중 객체 추적 시나리오에서의 우수성을 입증한다.
• 머리 감지기와 전신 감지기의 융합은 강하게 가려진 사람을 회복하는 데 있어 뚜렷한 향상을 이룬다.
• 다양한 감지기 간 상보적인 검출 신호를 활용함으로써 오진을 줄였다.
• 프랭크-울프 기반 솔버는 NP-난이도 이진 제곱 최적화 문제의 효율적 근사해를 제공하여 실시간 사용에 실용적인 프레임워크를 가능하게 한다.
• 다중 프레임 및 다중 감지기 정보의 종합적 통합은 더 일관되고 정확한 추적 결과를 이끈다.