[논문 리뷰] Fusion of Head and Full-Body Detectors for Multi-Object Tracking

Roberto Henschel, Laura Leal-Taixé외 2명|arXiv (Cornell University)|2017. 05. 23.

Video Surveillance and Tracking Methods참고 문헌 63인용 수 11

한 줄 요약

이 논문은 붐비거나 가림이 있는 상황에서 정확도를 향상시키기 위해 머리 검출기와 전체 신체 검출기를 융합하는 새로운 다객체 추적 프레임워크를 제안한다. 추적을 개선된 프랭크-울프 알고리즘으로 해결하는 가중치 그래프 레이블링 문제로 공식화함으로써, 이 방법은 최신 기술 수준의 성능을 달성하여 MOT16에서 2위, MOT17에서 1위를 기록하며 MOTA 향상과 함께 오소거 및 놓친 궤적 수를 감소시켰다.

ABSTRACT

In order to track all persons in a scene, the tracking-by-detection paradigm has proven to be a very effective approach. Yet, relying solely on a single detector is also a major limitation, as useful image information might be ignored. Consequently, this work demonstrates how to fuse two detectors into a tracking system. To obtain the trajectories, we propose to formulate tracking as a weighted graph labeling problem, resulting in a binary quadratic program. As such problems are NP-hard, the solution can only be approximated. Based on the Frank-Wolfe algorithm, we present a new solver that is crucial to handle such difficult problems. Evaluation on pedestrian tracking is provided for multiple scenarios, showing superior results over single detector tracking and standard QP-solvers. Finally, our tracker ranks 2nd on the MOT16 benchmark and 1st on the new MOT17 benchmark, outperforming over 90 trackers.

연구 동기 및 목표

• 특히 전체 신체 검출기가 실패하는 붐비거나 가림이 있는 상황에서 단일 검출기 추적의 한계를 해결하기 위해.
• 머리 검출기와 전체 신체 검출기에서 유용한 정보를 융합하여 장기적인 궤적 일관성을 향상시키기 위해.
• 오류가 발생하기 쉬운 트랙릿 초기화를 피하기 위해 이진 이차계획문제(BQP) 공식화에 대한 빠르고 정확한 솔버를 개발하기 위해.
• 특히 오소거된 보행자를 복구하고 오소거를 줄이는 데 있어 검출기 융합이 추적 성능을 크게 향상시킨다는 것을 입증하기 위해.
• 히우리스틱 트랙릿 생성에 의존하지 않고도 표준 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모든 프레임에서 검출기-사람 할당을 동시에 최적화하는 이진 이차계획문제(BQP)로 다객체 추적을 공식화한다.
• BQP의 완화된 형태를 사용하고, 정확한 선형 탐색, 목적함수 재구성, 계층적 해결 방식의 세 가지 개선 사항을 적용한 수정된 프랭크-울프(FW) 알고리즘으로 해결한다.
• 가능해를 개선하고 수렴 속도를 높이며 이산 해의 품질을 향상시키기 위해 계층적 해결 전략을 도입한다.
• 가림에 강건한 고정밀도 머리 검출기와 자세 변화에 강건한 전체 신체 검출기를 융합하여 검출 신뢰도를 향상시킨다.
• 오차가 발생하기 쉬운 중간 단계의 트랙릿을 필요로 하지 않고, 원시 검출 결과에 직접 솔버를 적용한다.
• 시간적 일관성을 보장하고 정체성 전환 및 오소거를 최소화하는 그래프 기반 레이블링 모델을 적용한다.

실험 결과

연구 질문

• RQ1 단일 검출기 시스템에 비해 머리 검출기와 전체 신체 검출기를 융합하는 것이 붐비거나 가림이 있는 상황에서 추적 성능을 향상시키는가?
• RQ2 새로운 FW 기반 솔버를 사용한 전역 최적화 BQP 공식화가 표준 QP 솔버 및 트랙릿 기반 방법에 비해 추적 정확도와 효율성 면에서 어떻게 비교되는가?
• RQ3 검출기 융합이 실세계 추적 벤치마크에서 오소거를 줄이고 오소거된 보행자를 얼마나 잘 복구하는가?
• RQ4 제안된 계층적 프랭크-울프 솔버가 대규모 추적 문제에서 표준 분기한정법 또는 기본 프랭크-울프보다 더 나은 해 품질과 더 빠른 수렴 속도를 달성하는가?
• RQ5 제안된 프레임워크가 트랙릿 초기화에 의존하지 않고도 MOT16 및 MOT17과 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 추적기는 MOT16 벤치마크에서 MOTA 점수 47.8%로 2위를 기록하여 대부분의 기존 추적기보다 뚜렷이 뛰어난 성능을 보였다.
• MOT17 벤치마크에서는 MOTA 점수 51.3%로 1위를 기록하여 새로운 최신 기술 수준을 수립하고 90개 이상의 다른 추적기를 압도했다.
• 머리 검출기와 전체 신체 검출기의 융합으로 오소거가 약 50% 감소했고, 대부분 추적된(MT) 궤적 수가 증가하여 MOTA가 5个百分点 이상 향상되었다.
• 개선된 프랭크-울프 솔버는 표준 분기한정법 및 기본 프랭크-울프보다 더 좋은 목적함수 값과 추적 성능를 달성했으며, 빠른 속도를 기록했다.
• MOT16 및 MOT17 양측에서 가장 낮은 대부분 놓친(ML) 점수를 기록하여 장기 궤적 복구 능력이 뛰어나다는 것을 입증했다.
• 계층적 해결 전략은 해 품질을 향상시켜 종종 최적해에 가까워졌고, 오류 발생 가능성이 높은 트랙릿 생성 없이도 검출 결과에 직접 최적화를 수행할 수 있게 하였다.