[논문 리뷰] Simple Unsupervised Multi-Object Tracking

Shyamgopal Karthik, Ameya Prabhu외 1명|arXiv (Cornell University)|2020. 06. 04.

Video Surveillance and Tracking Methods참고 문헌 68인용 수 23

한 줄 요약

이 논문은 다중 객체 추적을 위한 비지도 재식별(ReID) 방법인 SimpleReID를 제안한다. 이 방법은 비용이 많이 드는 궤적 레이블을 제거하기 위해 SORT에서 생성한 가짜 레이블을 활용하고, 레이블이 없는 영상에서 교차 엔트로피 손실을 통해 ReID 네트워크를 훈련시킨다. MOT16/17에서 최신 기준 성능을 달성하며, CenterTrack와 같은 지도 학습 추적기보다 MOTA 0.3점과 IDF1 4.8점 높은 성능을 보이며, 혼잡하고 가림이 많은 상황에서도 비지도 ReID가 지도 학습 성능을 따라잡을 수 있음을 입증한다.

ABSTRACT

Multi-object tracking has seen a lot of progress recently, albeit with substantial annotation costs for developing better and larger labeled datasets. In this work, we remove the need for annotated datasets by proposing an unsupervised re-identification network, thus sidestepping the labeling costs entirely, required for training. Given unlabeled videos, our proposed method (SimpleReID) first generates tracking labels using SORT and trains a ReID network to predict the generated labels using crossentropy loss. We demonstrate that SimpleReID performs substantially better than simpler alternatives, and we recover the full performance of its supervised counterpart consistently across diverse tracking frameworks. The observations are unusual because unsupervised ReID is not expected to excel in crowded scenarios with occlusions, and drastic viewpoint changes. By incorporating our unsupervised SimpleReID with CenterTrack trained on augmented still images, we establish a new state-of-the-art performance on popular datasets like MOT16/17 without using tracking supervision, beating current best (CenterTrack) by 0.2-0.3 MOTA and 4.4-4.8 IDF1 scores. We further provide evidence for limited scope for improvement in IDF1 scores beyond our unsupervised ReID in the studied settings. Our investigation suggests reconsideration towards more sophisticated, supervised, end-to-end trackers by showing promise in simpler unsupervised alternatives.

연구 동기 및 목표

• 다중 객체 추적에서 높은 비용이 드는 궤적 수준의 레이블이 필요 없도록 비지도 ReID 방법을 개발하는 것.
• 가림 및 시점 변화가 있는 도전적인 추적 환경에서 비지도 ReID가 지도 학습 ReID 성능을 따라잡을 수 있는지 평가하는 것.
• 오직 레이블이 없는 영상 데이터만을 사용하여 비지도 ReID와 지도 학습 ReID 간의 성능 격차를 줄일 수 있는지 조사하는 것.
• 다양한 검출기, 추적기, 데이터셋에 걸쳐 비지도 ReID의 일반화 능력과 확장성 평가하는 것.
• 복잡한 지도 학습 기반 종단간 추적기로의 경향을 도전하며, 단순한 비지도 대체 방법의 효용성을 입증하는 것.

제안 방법

• 레이블이 없는 영상에서 SORT 추적기를 사용해 추적 가짜 레이블을 생성하고, 이를 훈련을 위한 진짜 레이블로 간주한다.
• 생성된 SORT 레이블을 예측하기 위해 교차 엔트로피 손실을 사용하여 ReID 네트워크를 훈련시켜 궤적 레이블 없이 종단간 학습이 가능하도록 한다.
• 사전 구축된 객체 검출기(예: YOLOv3, Faster R-CNN)를 사용하여 검출 기능을 수행하고, 이를 비지도 구성 요소로 간주한다.
• 다양한 추적기(예: CenterTrack, DeepSORT, Tracktor)에 비지도 SimpleReID 모델을 통합하여 일반화 능력을 평가한다.
• 성능 상한선을 평가하기 위해 지도 학습 ReID 기준 모델 및 Oracle ReID 모델과 성능을 비교한다.
• 다양한 검출기와 추적기에서의 분석 실험을 수행하여 내성적 안정성과 성능 일관성 평가

실험 결과

연구 질문

• RQ1 SORT에서 생성한 가짜 레이블을 기반으로 훈련된 비지도 ReID 모델이 다중 객체 추적에서 지도 학습 ReID 성능과 유사한 성능을 달성할 수 있는가?
• RQ2 제안된 비지도 접근 방식이 검출기와 추적 프레임워크의 다양성에 걸쳐 일반화되는가? 특히 ReID에 크게 의존하는 프레임워크(예: DeepSORT)에서도 마찬가지인가?
• RQ3 연구된 환경에서 ReID가 달성할 수 있는 성능 상한선은 무엇이며, SimpleReID는 그에 얼마나 가까이 도달하는가?
• RQ4 제안된 비지도 ReID를 초월해 향후 성능 향상의 여지가 크거나, 현재 성능 향상가에 포화 상태인가?
• RQ5 비지도 ReID가 MOT16/17과 같은 도전적인 벤치마크에서 최신 기준 지도 학습 추적기보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• YOLOv3를 사용할 때 SimpleReID는 MOT17에서 MOTA 67.7, IDF1 68.1을 달성하며, 지도 학습 기준보다 MOTA 0.3점, IDF1 4.8점 높은 성능을 보였다.
• CenterTrack와 결합했을 때, 비지도 추적기는 MOT16/17에서 새로운 최신 기준 성능을 달성했으며, 이전 최고 성능(즉, CenterTrack)을 MOTA 0.3점, IDF1 4.8점 뛰어넘었다.
• SimpleReID와 Oracle ReID 간의 성능 격차는 단지 IDF1 3.3점 뿐이므로 향후 성능 향상 여지가 제한적임을 시사한다.
• YOLOv3, Faster R-CNN, HTC를 포함한 모든 테스트된 검출기에서 SimpleReID는 지도 학습 ReID와의 성능 격차를 해소했으며, IDF1 향상 폭은 2.0~3.6점에 달했다.
• 특히 DeepSORT와 같이 ReID에 의존도가 높은 추적기에서는 ImageNet 사전 학습된 ReID나 무작위 특징과 비교해 뚜렷한 성능 향상을 보였다.
• 결과적으로 비지도 ReID가 가림, 상호작용, 시점 변화가 많은 복잡한 상황에서도 지도 학습 성능을 따라잡을 수 있음을 입증했다.