[논문 리뷰] Multi-Target Tracking in Multiple Non-Overlapping Cameras using Constrained Dominant Sets

Yonatan Tariku Tesfaye, Eyasu Zemene외 3명|arXiv (Cornell University)|2017. 06. 19.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 55

한 줄 요약

이 논문은 비중첩 카메라 네트워크에서 카메라 내 추적과 카메라 간 추적을 함께 해결하기 위해 제약된 지배 집합(CDSC)을 이용한 통합 3층 프레임워크를 제시하며, 빠른 InfImDyn 기반 해답기와 트랙 정제를 포함한다.

ABSTRACT

In this paper, a unified three-layer hierarchical approach for solving tracking problems in multiple non-overlapping cameras is proposed. Given a video and a set of detections (obtained by any person detector), we first solve within-camera tracking employing the first two layers of our framework and, then, in the third layer, we solve across-camera tracking by merging tracks of the same person in all cameras in a simultaneous fashion. To best serve our purpose, a constrained dominant sets clustering (CDSC) technique, a parametrized version of standard quadratic optimization, is employed to solve both tracking tasks. The tracking problem is caste as finding constrained dominant sets from a graph. In addition to having a unified framework that simultaneously solves within- and across-camera tracking, the third layer helps link broken tracks of the same person occurring during within-camera tracking. In this work, we propose a fast algorithm, based on dynamics from evolutionary game theory, which is efficient and salable to large-scale real-world applications.

연구 동기 및 목표

• 다중 비중첩 카메라 간 다중 타깃 추적의 동기 부여 및 해결.
• 카메라 내 추적과 카메라 간 데이터 연관 정보를 공동으로 처리하는 통합 3층 프레임워크를 개발.
• 그래프상에서 층 간 추적을 제약된 지배 집합 클러스터링으로 형상화.
• CDSC를 대규모 실제 데이터셋으로 확장하기 위한 빠른 최적화 접근법 도입.
• MOT DukeMTMCT 및 재식별(ReID) 지향 데이터셋에서의 효과성과 일반화 가능성 입증。

제안 방법

• 카메라 내 추적을 짧은 트랙릿 그래프에서 제약된 지배 집합으로 시퀀스로 모델링합니다.
• 각 카메라 내에서 트랙릿을 일관된 트랙으로 결합하기 위해 CDSC를 적용하여 트랙 수준으로 상향합니다.
• 다중 카메라 트랙 그래프를 구성하고 CDSC를 적용하여 카메라 간 트랙을 공동으로 클러스터링하고 카메라 내 단절된 트랙을 연결합니다.
• CDSC의 제약 집합 형식을 사용하여 해답에 사용자가 지정한 또는 사전 트랙을 포함하도록 보장하면서 응집된 클러스터를 형성합니다.
• 거의 선형 시간 내에 작동하는 빠른 InfImDyn 기반 해법을 사용하여 지배 집합을 계산하고 확장성을 개선합니다.
• 상호 관계를 강제하고 카메라 간 비일관성을 제거하는 트랙 정제 단계를 도입합니다.

실험 결과

연구 질문

• RQ1 단일 CDSC 기반 프레임워크가 비중첩 카메라 네트워크에서 카메라 내 추적과 카메라 간 데이터 연관 문제를 효과적으로 모두 해결할 수 있는가?
• RQ2 제약vertices로 지배 집합을 제약하는 것이 결과 트랙의 품질과 응집도에 어떤 영향을 미치는가?
• RQ3 제안된 빠른 InfImDyn 기반 해법이 대규모 데이터셋에 대해 정확도를 해치지 않으면서 확장 가능한 성능을 제공하는가?
• RQ4 프레임워크가 내부 트랙을 연결하고 교차-카메라 신분 일관성을 개선하면서 재식별(task)에도 일반화 가능한가?

주요 결과

• 3층 CDSC 프레임워크가 단일 최적화에서 카메라 내 트랙과 카메라 간 연관을 일관되게 도출한다.
• 제약된 지배 집합 형식은 일관되게 제약 정점을 포함하여 표적화된 신뢰할 수 있는 클러스터링을 가능하게 한다.
• 빠른 InfImDyn 기반 해법이 반복당 연산을 거의 선형 시간으로 줄여 대규모 그래프에 대한 확장성을 가능하게 한다.
• MOT Challenge DukeMTMCT에서 최첨단 방법과 경쟁력 있는 성능을 보인다.
• MARS 재식별 데이터셋에서 재식별 태스크에도 방법의 적용 가능성을 보여준다.
• 이 방법은 카메라 간에 끊어진 카메라 내 트랙을 연결하여 전체 트랙의 연속성과 신원 유지성을 향상시킨다.