[논문 리뷰] Efficient Global Multi-object Tracking Under Minimum-cost Circulation Framework

Congchao Wang, Yizhi Wang외 1명|arXiv (Cornell University)|2019. 11. 02.

Video Surveillance and Tracking Methods참고 문헌 40인용 수 4

한 줄 요약

이 논문은 최소비용 순환 프레임워크인 CINDA를 제안하며, 반복적인 유량 양 탐색 없이 글로벌 다중 객체 추적 데이터 연동을 직접 해결함으로써 최신 기술 대비 최대 1,192배 빠른 속도 향상을 이룩하면서도 최적의 해를 유지한다. 단위 용량을 가진 정점의 구조를 활용하여 이론적이고 실질적인 복잡도를 감소시켜, 장시간 시퀀스를 포함한 대규모 데이터셋에서도 효율적이고 글로벌 최적의 추적을 가능하게 한다.

ABSTRACT

We developed a minimum-cost circulation framework for solving the global data association problem, which plays a key role in the tracking-by-detection paradigm of multi-object tracking. The global data association problem was extensively studied under the minimum-cost flow framework, which is theoretically attractive as being flexible and globally solvable. However, the high computational burden has been a long-standing obstacle to its wide adoption in practice. While enjoying the same theoretical advantages and maintaining the same optimal solution as the minimum-cost flow framework, our new framework has a better theoretical complexity bound and leads to orders of practical efficiency improvement. This new framework is motivated by the observation that minimum-cost flow only partially models the data association problem and must be accompanied by an additional and time-consuming searching scheme to determine the optimal object number. By employing a minimum-cost circulation framework, we eliminate the searching step and naturally integrate the number of objects into the optimization problem. By exploring the special property of the associated graph, that is, an overwhelming majority of the vertices are with unit capacity, we designed an implementation of the framework and proved it has the best theoretical complexity so far for the global data association problem. We evaluated our method with 40 experiments on five MOT benchmark datasets. Our method was always the most efficient and averagely 53 to 1,192 times faster than the three state-of-the-art methods. When our method served as a sub-module for global data association methods using higher-order constraints, similar efficiency improvement was attained. We further illustrated through several case studies how the improved computational efficiency enables more sophisticated tracking models and yields better tracking accuracy.

연구 동기 및 목표

• 장시간 시퀀스로의 확장성에 제약을 주는 다중 객체 추적(MOT)에서 최소비용 유량 기반 글로벌 데이터 연동의 높은 계산 비용을 해결하기 위해.
• 기존 최소비용 유량 방법에서 반복적인 유량 양 탐색이 필요 없도록, 객체 수를 최적화에 직접 통합함으로써 이를 제거하기 위해.
• 최소비용 유량보다 이론적·실제로 더 효율적인 프레임워크를 개발하여 MOT의 글로벌 데이터 연동에 응용하기 위해.
• 계산 오버헤드를 극적으로 감소시켜 고차원 추적 모델과 반복적 보정을 가능하게 하기 위해.

제안 방법

• MAP 기반 데이터 연동 문제를 최소비용 순환 문제로 재구성함으로써, 객체 수를 최적화에 자연스럽게 통합한다.
• 연결 그래프에서 대부분의 정점이 단위 용량을 가지는 구조적 특성을 활용하여, 이론적 복잡도가 향상된 효율적인 알고리즘을 설계한다.
• 단위 용량 정점의 특성을 활용한 전용 알고리즘을 구현하여 계산 비용을 감소시켜, 이 문제에 대해 알려진 바 중 최고의 이론적 복잡도 상한을 달성한다.
• 유량을 사전에 지정할 필요 없이 순환 기반의 수식을 사용함으로써, 시간이 오래 걸리는 탐색 절차를 제거한다.
• 원천 및 싱크 노드가 검출 결과에 연결된 네트워크 유량 모델을 사용하며, 간선은 프레임 간 연동을 나타내고 비용은 검출 결과 유사도에 기반한다.
• 단위 용량 구조에 특화된 고급 최단경로 및 이중 상승 기법을 적용하여 빠른 수렴을 이룬다.

실험 결과

연구 질문

• RQ1 최소비용 순환 프레임워크는 글로벌 다중 객체 추적에서 최소비용 유량보다 이론적 복잡도와 실질적 효율성 측면에서 뛰어나게 성능을 낼 수 있는가?
• RQ2 반복적인 유량 양 탐색 단계를 제거함으로써 데이터 연동에서 계산 효율성이 크게 향상되는가?
• RQ3 제안된 프레임워크는 장시간 시퀀스와 높은 검출 수를 포함한 대규모 MOT 데이터셋에 확장 가능한가?
• RQ4 향상된 효율성은 더 복잡한 제약 조건을 가진 고차원 추적 모델의 구현 가능성을 어느 정도 향상시키는가?
• RQ5 계산 비용이 과도하지 않게 반복적 친화도 보정을 지원할 수 있는가?

주요 결과

• CINDA는 5개의 MOT 벤치마크에서 40개의 실험을 통해 최신 기술 3종보다 53배에서 최대 1,192배 빠른 런타임을 기록했다.
• 모든 실험에서 모든 기준선을 뛰어넘는 일관된 뛰어난 효율성과 확장성을 입증했다.
• 이론적 분석을 통해 CINDA가 글로벌 데이터 연동 문제에 대해 알려진 바 중 최고의 계산 복잡도 상한을 달성함을 입증했다.
• 이 프레임워크는 이전에는 계산 비용으로 인해 구현이 어려웠던 고차원 추적 모델과 반복적 친화도 보정의 사용을 가능하게 했다.
• 사례 연구를 통해 효율성 향상 덕분에 더 긴 시간적 맥락과 더 복잡한 모델을 활용해 추적 정확도를 향상시킬 수 있음을 보여주었다.
• 소스 코드는 파이썬 및 MATLAB 인터페이스를 함께 제공하여 도입과 향후 연구를 용이하게 했다.