[논문 리뷰] Improvements to Frank-Wolfe optimization for multi-detector multi-object tracking.

Roberto Henschel, Laura Leal-Taixé외 2명|arXiv (Cornell University)|2017. 05. 23.

Data Management and Algorithms참고 문헌 1인용 수 36

한 줄 요약

이 논문은 다중 감지기 다중 객체 추적을 위한 이진 이차계획법(BQP) 공식화에 기반한 Frank-Wolfe 기반 솔버를 제안하며, 두 감지기를 융합하여 궤적 추정을 향상시킨다. 이 방법은 MOT16에서 2위, MOT17에서 1위를 기록하여 90개 이상의 추적기들을 능가하는 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In order to track all persons in a scene, the tracking-by-detection paradigm has proven to be a very effective approach. Yet, relying solely on a single detector is also a major limitation, as useful image information might be ignored. Consequently, this work demonstrates how to fuse two detectors into a tracking system. To obtain the trajectories, we propose to formulate tracking as a weighted graph labeling problem, resulting in a binary quadratic program. As such problems are NP-hard, the solution can only be approximated. Based on the Frank-Wolfe algorithm, we present a new solver that is crucial to handle such difficult problems. Evaluation on pedestrian tracking is provided for multiple scenarios, showing superior results over single detector tracking and standard QP-solvers. Finally, our tracker ranks 2nd on the MOT16 benchmark and 1st on the new MOT17 benchmark, outperforming over 90 trackers.

연구 동기 및 목표

• 단일 감지기 추적의 한계를 해결하기 위해 두 감지기의 정보를 융합하여 보다 향상된 인체 추적을 달성하고자 한다.
• 다중 객체 추적 문제를 가중치가 부여된 그래프 레이블링 문제로 공식화하여 이진 이차계획법(BQP)을 도출하고자 한다.
• NP-난이도의 BQP를 효율적으로 해결하기 위해 Frank-Wolfe 알고리즘을 활용한 솔버를 개발하여 확장 가능하고 정확한 궤적 추론을 가능하게 하고자 한다.
• 다양한 보행자 추적 시나리오에서 추적기를 평가하고 기존 최신 기술 수준의 방법들과 비교하고자 한다.

제안 방법

• 추적 문제는 감지 가설을 나타내는 노드와 궤적 연속성 및 외관 유사도를 표현하는 간선을 가진 가중치가 부여된 그래프 위에서 이진 이차계획법(BQP)으로 모델링된다.
• Frank-Wolfe 알고리즘은 탇합 가능 영역 내에서 가장 유망한 방향을 반복적으로 선택하여 BQP를 해결하도록 적응되었으며, 국소 최적해로 수렴함을 보장한다.
• 두 개의 감지기(예: CNN 기반 및 HOG 기반)를 융합하여 특징 표현을 풍부화하고 다양한 환경에서의 검출 신뢰도를 향상시킨다.
• 최적화 과정에서 탇합성을 유지하고 수렴 속도를 가속화하기 위해 탐욕적 선 탐색과 활성 집합 전략을 사용한다.
• 궤적 형성에 유도하기 위해 외관 및 운동 제약 조건을 그래프의 가중치에 통합한다.

실험 결과

연구 질문

• RQ1 서로 보완적인 두 감지기를 융합하면 단일 감지기 접근법에 비해 추적 성능을 향상시킬 수 있는가?
• RQ2 NP-난이도의 BQP 공식화를 위한 다중 객체 추적 문제에서 Frank-Wolfe 알고리즘이 얼마나 효과적인가?
• RQ3 복잡한 추적 시나리오에서 표준 QP 솔버에 비해 제안된 솔버가 더 높은 정확도와 효율성을 달성하는가?
• RQ4 이 방법은 다양한 보행자 추적 벤치마크에 대해 얼마나 일반화 가능한가?

주요 결과

• 제안된 추적기는 MOT16 벤치마크에서 2위를 기록하여 대부분의 기존 추적기들을 능가한다.
• MOT17 벤치마크에서는 1위를 기록하여 90개 이상의 다른 추적기들을 초월한다.
• 두 감지기의 융합은 가림, 혼잡한 장면과 같은 도전적인 상황에서 더 높은 강인성을 제공한다.
• Frank-Wolfe 기반 솔버는 대규모 추적 인스턴스에서 표준 QP 솔버에 비해 뛰어난 수렴성과 확장성을 보여준다.