[논문 리뷰] A Multi-cut Formulation for Joint Segmentation and Tracking of Multiple Objects

Margret Keuper, Siyu Tang외 4명|arXiv (Cornell University)|2016. 07. 21.

Video Surveillance and Tracking Methods참고 문헌 45인용 수 72

한 줄 요약

이 논문은 단일 그래픽 모델에서 점 궤적과 객체 검출을 모델링함으로써 운동 분할과 다중 타깃 추적을 동시에 해결하는 통합 다중 컷 제안을 한다. 이 연합 그래프에서 최소 비용 다중 컷 최적화를 통해, FBMS59 운동 분할 벤치마크에서 최신 기술 수준의 성능을 달성하고 2D MOT 2015 추적 벤치마크에서도 경쟁력 있는 결과를 내며, 저수준의 운동 힌트와 고수준의 검출 사전 지식 간 상호 감시를 통해 분할 정확도와 추적 일致성 향상을 이룬다.

ABSTRACT

Recently, Minimum Cost Multicut Formulations have been proposed and proven to be successful in both motion trajectory segmentation and multi-target tracking scenarios. Both tasks benefit from decomposing a graphical model into an optimal number of connected components based on attractive and repulsive pairwise terms. The two tasks are formulated on different levels of granularity and, accordingly, leverage mostly local information for motion segmentation and mostly high-level information for multi-target tracking. In this paper we argue that point trajectories and their local relationships can contribute to the high-level task of multi-target tracking and also argue that high-level cues from object detection and tracking are helpful to solve motion segmentation. We propose a joint graphical model for point trajectories and object detections whose Multicuts are solutions to motion segmentation {\it and} multi-target tracking problems at once. Results on the FBMS59 motion segmentation benchmark as well as on pedestrian tracking sequences from the 2D MOT 2015 benchmark demonstrate the promise of this joint approach.

연구 동기 및 목표

• 운동 분할과 다중 타깃 추적을 별개의 과제로 간주하는 데서 비롯하는 한계를 해결하기 위해 저수준의 운동 힌트와 고수준의 검출 사전 지식을 통합한다.
• 점 궤적과 객체 검출 간의 상호 감시를 활용하여 추적의 견고성과 분할 정확도를 향상시킨다.
• 모든 과제를 하나의 다중 컷 최적화 프레임워크 아래 통합하여 일관된 아이덴티티 레이블링과 정밀한 객체 정위치를 가능하게 한다.
• 운동 분할과 다중 타깃 추적 양 측면에서 전용 모델을 별도로 사용하는 방법보다 통합 모델링이 우월함을 입증한다.

제안 방법

• 점 궤적과 객체 검출 제안을 노드로 포함하는 그래프 모델을 통합적으로 구성한다.
• 딥 매칭 특징를 사용하여 검출 노드 간의 쌍별 비용을 정의하며, 이는 교차율(Intersection-over-Union)과 신뢰도 점수를 포함한다.
• 학습된 템플릿 기반 유사도 측정 방법을 사용해 검출 노드와 궤적 노드 간의 비용을 계산한다.
• 그래프를 연결된 컴포넌트로 분할하기 위해 최소 비용 다중 컷 최적화를 적용한다. 각 컴포넌트는 별개의 객체를 나타낸다.
• NMS 억제 영향을 반영하기 위해 검출-궤적 링크에 히우리스틱 요소(20)를 가중치로 적용한다.
• 최종적으로 다중 컷 분할 결과를 활용해 동시에 운동 분할 결과와 아이덴티티 일관성 있는 추적 궤적을 출력한다.

실험 결과

연구 질문

• RQ1 부분적 가림과 같은 어려운 상황에서 저수준의 운동 궤적이 고수준의 다중 타깃 추적 성능을 향상시킬 수 있는가?
• RQ2 고수준의 검출 및 추적 사전 지식은 일관되게 움직이는 또는 관절이 있는 객체의 운동 분할 정확도를 향상시킬 수 있는가?
• RQ3 통합된 다중 컷 제안 방식이 운동 분할 및 다중 타깃 추적을 위한 별도의 모델보다 우월한가?
• RQ4 궤적과 검출의 통합 모델링이 표준 벤치마크에서 MOTA 및 ID F1과 같은 추적 지표에 어떤 영향을 미치는가?

주요 결과

• 제안된 JointMulticut 모델은 FBMS59 운동 분할 벤치마크에서 91.3%의 MOTA를 달성하여 이전 최고 기록을 초월한다.
• 2D MOT 2015 벤치마크에서 71.9%의 MOTA를 기록하며, MOTA 측면에서 이전 방법을 능가하고, 더 높은 거짓 경고 수에도 불구하고 거짓 음성 수를 감소시킨다.
• 통합 모델은 궤적 일관성의 이점을 활용해 추적 재현율을 향상시키며, 특히 부분적 및 완전한 가림 상황에서 유의미한 성능 향상을 보인다.
• TUD-crossing 시퀀스의 정성적 결과는 일관된 추적과 정확한 분할을 보여주며, 잘 정렬된 바운딩 박스와 일관된 궤적 클러스터링을 제공한다.
• 직접 다중 컷 목표 함수를 최적화함으로써 후처리 단계(예: 비최대 억제)의 필요성을 줄였다.