[논문 리뷰] PathTrack: Fast Trajectory Annotation with Path Supervision

Santiago Manén, Michael Gygli외 2명|arXiv (Cornell University)|2017. 01. 01.

Video Surveillance and Tracking Methods참고 문헌 40인용 수 4

한 줄 요약

이 논문은 비디오에서 객체 경로를 실시간으로 추적하는 경로 감독 기반 궤적 주석을 위한 새로운 프레임워크인 PathTrack를 소개한다. 주석자들은 실시간으로 객체 경로를 추적한다. 이러한 약한 경로 주석을 최적화하고 객체 검출 결과를 활용함으로써 고밀도이고 정확한 박스 궤적을 생성한다. 주요 기여는 MOT 데이터셋을 33배로 확대한 것으로, 720개의 시퀀스에 총 15,380개의 사람 궤적을 포함하며, 이는 추적 성능을 크게 향상시킨다. MOT15 최고 성능 추적기 재학습 시 ID 스위치는 18% 감소하고, 분할 수는 5% 감소한다.

ABSTRACT

Progress in Multiple Object Tracking (MOT) has been historically limited by the size of the available datasets. We present an efficient framework to annotate trajectories and use it to produce a MOT dataset of unprecedented size. In our novel path supervision the annotator loosely follows the object with the cursor while watching the video, providing a path annotation for each object in the sequence. Our approach is able to turn such weak annotations into dense box trajectories. Our experiments on existing datasets prove that our framework produces more accurate annotations than the state of the art, in a fraction of the time. We further validate our approach by crowdsourcing the PathTrack dataset, with more than 15,000 person trajectories in 720 sequences. Tracking approaches can benefit training on such large-scale datasets, as did object recognition. We prove this by re-training an off-the-shelf person matching network, originally trained on the MOT15 dataset, almost halving the misclassification rate. Additionally, training on our data consistently improves tracking results, both on our dataset and on MOT15. On the latter, we improve the top-performing tracker (NOMT) dropping the number of IDSwitches by 18% and fragments by 5%.

연구 동기 및 목표

• 기존 데이터셋의 높은 비용과 규모 제한으로 인해 발생하는 다중 객체 추적(MOT)의 성능 저하 문제를 해결하기 위해.
• 비디오 재생 중 인간의 움직임을 활용해 더 빠르고 효율적인 주석 방법을 개발하여 궤적 데이터를 생성하기 위해.
• 데이터 기반 추적 시스템 학습에 적합한 대규모이고 다양한 MOT 데이터셋을 구축하기 위해.
• 고용량, 저정밀도 데이터가 깊이 학습된 매칭 모델을 위한 MOT 학습에서 고정밀도, 저용량 데이터를 능가할 수 있는지 검증하기 위해.

제안 방법

• 주석자는 비디오를 재생하는 동안 커서를 사용해 실시간으로 객체 경로를 느슨하게 추적함으로써 정지 시간을 최소화한다.
• 시스템은 경로 주석과 객체 검출 결과를 입력으로 받아 전역 최적화를 수행하여 고밀도이고 정확한 경계 상자 궤적을 추론한다.
• 최적화 과정은 서로 다른 프레임 간의 검출 결과를 연결하여 약한 경로 감독에서 고정밀 궤적을 생성한다.
• 이 방법은 특히 고용량, 저정밀도 데이터 수집에 효과적인 궤적 주석의 가장 빠른 방법으로 설계되어 있다.
• PathTrack 데이터셋은 이 경로 감독 파이프라인을 사용해 아마존 Mechanical Turk를 통해 공동으로 제작되었다.
• TRID라는 분류 기반 사람 매칭 네트워크는 PathTrack에서 학습되었으며, PathTrack와 MOT15 양측에서 평가되었다.

실험 결과

연구 질문

• RQ1 경로 감독은 주석 시간을 크게 줄일 수 있을까, 동시에 궤적 정확도는 유지될 수 있을까?
• RQ2 작은 규모의 고정밀도 데이터셋에 비해 대규모 고용량 MOT 데이터셋에서 학습하면 추적 성능이 향상되는가?
• RQ3 경로 감독에서 유도된 약한 주석이 고밀도이고 정확한 경계 상자 궤적으로 효과적으로 변환될 수 있는가?
• RQ4 MOT 데이터 양에 대해 성능 포화점이 존재하는가, 아니면 더 많은 데이터가 계속해서 성능 햖थ을 이끌 수 있는가?

주요 결과

• PathTrack는 기존 벤치마크보다 33배 더 큰 MOT 데이터셋을 생성했으며, 720개의 시퀀스와 총 15,380개의 사람 궤적을 포함한다.
• MOT15에서만 학습하는 것에 비해 PathTrack에서 학습한 사람 매칭 모델은 오분류율을 45% 감소시켰다.
• MOT15 최고 성능 추적기(NOMT)를 PathTrack 데이터로 재학습했을 때, MOT15 테스트 세트에서 ID 스위치는 18% 감소하고, 분할 수는 5% 감소했다.
• 경로 감독을 활용한 고용량 주석 전략은 동일한 주석 시간 예산 내에서 LabelMe를 사용한 고정밀도 전략보다 10%포인트 높은 88%의 매칭 정확도를 달성했다.
• 최적화 프레임워크는 경로 주석에서 정확한 경계 상자 궤적을 생성했으며, 모든 품질 수준에서 궤적 주석의 가장 빠른 방법임을 입증했다.
• 결과적으로, MOT에서 탐지-연결 모델 학습에 있어 데이터 양이 정확도보다 더 큰 영향을 미친다는 것이 입증되었다.