[논문 리뷰] Exploit the Connectivity: Multi-Object Tracking with TrackletNet

Gaoang Wang, Yizhou Wang외 3명|arXiv (Cornell University)|2018. 11. 18.

Video Surveillance and Tracking Methods참고 문헌 31인용 수 24

한 줄 요약

이 논문은 트랙릿을 정점으로 하고, 복합적인 외관 및 시간적 특징을 통해 상호 트랙릿 간 연결성을 측정하는 다중 척도 TrackletNet을 사용하여 추적을 그래프 클러스터링 문제로 모델링하는 새로운 다중 객체 추적 방법인 TrackletNet 추적기(TNT)를 제안한다. 트랙릿 생성 시 에피포라 기하학을 통합하고, 통합된 CNN 기반 유사도 측정법을 활용함으로써 TNT는 MOT16 및 MOT17 벤치마크에서 최고 성능을 달성하며, 가림, 카메라 운동, 노이즈가 많은 외관 특징에 대해 뛰어난 견고성을 보여준다.

ABSTRACT

Multi-object tracking (MOT) is an important and practical task related to both surveillance systems and moving camera applications, such as autonomous driving and robotic vision. However, due to unreliable detection, occlusion and fast camera motion, tracked targets can be easily lost, which makes MOT very challenging. Most recent works treat tracking as a re-identification (Re-ID) task, but how to combine appearance and temporal features is still not well addressed. In this paper, we propose an innovative and effective tracking method called TrackletNet Tracker (TNT) that combines temporal and appearance information together as a unified framework. First, we define a graph model which treats each tracklet as a vertex. The tracklets are generated by appearance similarity with CNN features and intersection-over-union (IOU) with epipolar constraints to compensate camera movement between adjacent frames. Then, for every pair of two tracklets, the similarity is measured by our designed multi-scale TrackletNet. Afterwards, the tracklets are clustered into groups which represent individual object IDs. Our proposed TNT has the ability to handle most of the challenges in MOT, and achieve promising results on MOT16 and MOT17 benchmark datasets compared with other state-of-the-art methods.

연구 동기 및 목표

• 긴 임의의 가림, 노이즈가 많은 검출, 빠른 카메라 운동 상황에서의 다중 객체 추적 과제를 해결하기 위해.
• 단일 프레임워크 내에서 외관 및 시간적 특징을 통합함으로써 추적 성능을 향상시키기 위해.
• 개별 검출이 아닌 트랙릿을 그래프 정점으로 모델링하여 계산 복잡도를 줄이고 견고성을 향상시키기 위해.
• 시간 연속성 모델링을 통해 외관 특징 노이즈 및 과적합에 대한 민감도를 감소시키는 방법을 개발하기 위해.

제안 방법

• IOU와 CNN 기반 외관 특징을 사용하여 연속 프레임 간 검출을 연결함으로써 트랙릿을 생성하며, 카메라 운동 보정을 위해 에피포라 기하학을 적용한다.
• 각 트랙릿을 정점으로 하고 간선이 트랙릿 간 연결성을 나타내는 그래프 모델을 구축한다.
• 다중 척도 TrackletNet은 시간 연속성에 기반해 궤적 및 외관 특징을 융합하는 CNN 아키텍처를 통해 트랙릿 간 유사도를 측정한다.
• TrackletNet에서 도출된 연결성 점수는 그래프의 간선 가중치를 형성하며, 이는 트랙릿을 개별 객체 궤적으로 클러스터링하는 데 기여한다.
• 그래프 분할을 통해 동일한 정체성을 가진 트랙릿을 그룹화함으로써 추적 문제를 클러스터링 문제로 해결한다.
• 추적 모델은 추가적인 Re-ID 데이터 없이 MOT 데이터셋에서 엔드 투 엔드로 훈련되며, 시간 영역 컨볼루션을 통해 과적합을 감소시킨다.

실험 결과

연구 질문

• RQ1 트랙릿을 정점으로 사용하는 그래프 기반 추적 프레임워크가 장기적인 가림과 노이즈가 많은 검출을 다루는 데에 검출 기반 방법보다 우수한 성능을 보일 수 있는가?
• RQ2 큰 카메라 운동 상황에서 에피포라 기하학이 트랙릿 생성에 얼마나 효과적으로 기여하는가?
• RQ3 통합된 CNN 기반 유사도 측정법(TrackletNet)이 전통적인 특징 거리 측정법(예: 바타차리야 거리)보다 추적의 견고성에서 뛰어나게 작용할 수 있는가?
• RQ4 시간 연속성 모델링이 노이즈가 많거나 손상된 외관 특징에 대한 민감도를 어느 정도 감소시키는가?

주요 결과

• TNT는 MOT16 및 MOT17 벤치마크에서 모두 최고 성능을 기록하며, MOTA 및 IDF1 점수에서 기존 방법들을 능가한다.
• 에피포라 기하학을 적용함으로써 트랙릿 생성 시 거짓 음성 비율(FNR)이 크게 감소—MOT17-13에서 2.7% 감소—카메라 운동에 대한 견고성이 향상됨을 입증한다.
• MOT17-10에서는 거짓 발견 비율(FDR)을 2.4%로, MOT17-13에서는 3.4%로 낮추어 트랙릿 연결의 높은 정확도를 보여준다.
• 노이즈가 첨가된 가우시안 노이즈(σ = 0.2) 조건에서 TNT는 IDF1 점수 34.0을 유지하지만, 베이스라인은 20.6으로 떨어지며, 외관 특징 손상에 대한 뛰어난 견고성을 입증한다.
• 정성적 결과는 MOT17-08에서 최대 38 프레임 동안 완전히 가려진 보행자를 성공적으로 추적한 것으로, 장기간의 가림 상황에서도 효과적임을 보여준다.
• MOT17-01 및 MOT17-06 시퀀스에서와 같이 움직이는 카메라 및 密집된 보행자 상호작용과 같은 다양한 상황에서도 모델의 일반화 능력이 뛰어나다.