[논문 리뷰] Multi-camera Multi-Object Tracking

WenQian Liu, Octavia Camps외 1명|arXiv (Cornell University)|2017. 09. 20.

Video Surveillance and Tracking Methods참고 문헌 12인용 수 30

한 줄 요약

이 논문은 전역적인 다중 카메라 다중 객체 추적 프레임워크를 제안하며, 추적 문제를 일반화된 최대 다중 클리크(GMMCP) 최적화 문제로 모델링하여 외관(LOMO)과 운동(IHTLS 기반 하켈 랭크 추정) 유사도를 통합한다. EPFL Terrace 및 Duke MTMC 데이터셋에서 평가한 결과, MOTA는 0.42, IDF1은 55.5%를 기록하여 상태기반 기술 대비 열등한 성능를 보였지만, 안정적인 오프라인 파이프라인을 제공하며 실시간 확장 가능성도 보여준다.

ABSTRACT

In this paper, we propose a pipeline for multi-target visual tracking under multi-camera system. For multi-camera system tracking problem, efficient data association across cameras, and at the same time, across frames becomes more important than single-camera system tracking. However, most of the multi-camera tracking algorithms emphasis on single camera across frame data association. Thus in our work, we model our tracking problem as a global graph, and adopt Generalized Maximum Multi Clique optimization problem as our core algorithm to take both across frame and across camera data correlation into account all together. Furthermore, in order to compute good similarity scores as the input of our graph model, we extract both appearance and dynamic motion similarities. For appearance feature, Local Maximal Occurrence Representation(LOMO) feature extraction algorithm for ReID is conducted. When it comes to capturing the dynamic information, we build Hankel matrix for each tracklet of target and apply rank estimation with Iterative Hankel Total Least Squares(IHTLS) algorithm to it. We evaluate our tracker on the challenging Terrace Sequences from EPFL CVLAB as well as recently published Duke MTMC dataset.

연구 동기 및 목표

• 다중 카메라 및 다중 프레임 간 데이터 연동을 동시에 모델링하여 다중 카메라 다중 객체 추적 문제를 해결하고자 한다.
• 겹치는 또는 겹치지 않는 카메라 시야가 있는 복잡한 감시 환경에서도 추적 정확도를 향상시키고자 한다.
• 재식별과 운동 역학을 통합한 통합된 오프라인 프레임워크를 개발하여 강력한 추적 성능을 확보하고자 한다.
• EPFL Terrace(겹침) 및 Duke MTMC(겹침 없음)를 포함한 다양한 데이터셋에서 성능을 평가하여 일반화 능력을 평가하고자 한다.

제안 방법

• 다중 카메라 다중 객체 추적 문제를 노드가 검출 결과를 나타내고 간선이 유사도 점수를 나타내는 전역 그래프로 공식화한다.
• 간선 가중치를 LOMO 기반 외관 특징과 트랙릿의 하켈 행렬 랭크 추정을 통한 운동 유사도의 조합으로 계산한다.
• 혼합 이진 선형 프로그래밍을 통해 전역 최대 클리크를 찾는 방식으로 추적 문제를 해결하여 카메라 및 프레임 간 일관된 트랙릿을 확보한다.
• 두 단계 유사도 융합 기법을 적용: 외관 유사도는 LOMO를 통해, 운동 유사도는 트랙릿의 하켈 행렬에 대한 랭크 추정을 통해 계산한다.
• 최적의 클리크 선택을 위해 Gurobi를 사용하여 혼합 정수 최적화 문제를 해결한다.
• 성능에 대한 운동과 외관의 기여도 분석을 위해 외관 가중치(0에서 1 사이)에 대한 파arameter 스위프트를 수행한다.

실험 결과

연구 질문

• RQ1 어떻게 외관 및 운동 특징을 효과적으로 융합하여 다중 카메라 추적 성능을 향상시킬 수 있는가?
• RQ2 하켈 행렬 랭크 추정을 통해 유도된 운동 유사도가 카메라 간 추적 일관성에 어느 정도 기여하는가?
• RQ3 GMMCP와 같은 전역 최적화 프레임워크가 국소적 또는 순차적 연동 방법보다 다중 카메라 추적에서 더 나은 성능을 내는가?
• RQ4 EPFL과 Duke MTMC와 같이 카메라 겹침 정도가 다른 데이터셋에서 추적기가 어떻게 성능을 발휘하는가?
• RQ5 간선 가중치 계산에서 외관과 운동 유사도 간 최적의 균형은 무엇인가?

주요 결과

• EPFL Terrace 시퀀스에서 추적기는 MOTA 0.42를 기록하였으며, [12]에서 보고한 최상위 성능인 0.7보다 낮아 향상 여지가 있음을 시사한다.
• Duke MTMC 데이터셋에서 추적기는 IDF1 점수 55.5%를 기록하였으며, CDSC(60) 및 BIPCC(56.2) 등 최고 성능 기술보다 낮아 성능 향상이 제한됨을 시사한다.
• 외관 가중치를 0으로 설정했을 때 IDF1, IDP, IDR 점수가 최고로 기록되었으며, 이는 이 설정에서 운동 유사도만으로도 더 나은 성능을 내고 있음을 의미한다.
• 가장 계산 비용이 큰 단계는 유사도 행렬 구축으로, 4138초(1시간 이상)가 소요되었으며, 이어 Gurobi 최적화가 289초 소요되었다.
• 정성적 결과에서는 카메라 및 프레임 간 일관된 트랙릿이 관찰되었으며, 같은 색상의 바운딩 박스가 동일한 정체성을 나타내어 시간에 걸쳐 정체성 유지 능력을 확인할 수 있었다.
• 저자들은 GMMCP 출력의 열악한 병합 및 인간 운동에서 유사한 운동 랭크로 인한 운동 특징의 구분력 부족이 성능 저하의 주요 원인임을 밝혔다.