[논문 리뷰] Tracklet Association Tracker: An End-to-End Learning-based Association Approach for Multi-Object Tracking

Han Shen, Lichao Huang외 2명|arXiv (Cornell University)|2018. 08. 05.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 38

한 줄 요약

이 논문은 트랙릿을 사용하는 양면 최적화 공식을 통해 특성 학습과 데이터 연관성을 통합하는 엔드 투 엔드 학습 기반 다중 객체 추적 프레임워크인 Tracklet Association Tracker(TAT)을 제안한다. 딥 메트릭 학습, 트랙릿 생성 및 근사 기울기 기반 훈련을 활용함으로써 TAT는 이전 방법보다 20배 이상 빠른 훈련 속도를 기록하며 MOT2016 및 MOT2017 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Traditional multiple object tracking methods divide the task into two parts: affinity learning and data association. The separation of the task requires to define a hand-crafted training goal in affinity learning stage and a hand-crafted cost function of data association stage, which prevents the tracking goals from learning directly from the feature. In this paper, we present a new multiple object tracking (MOT) framework with data-driven association method, named as Tracklet Association Tracker (TAT). The framework aims at gluing feature learning and data association into a unity by a bi-level optimization formulation so that the association results can be directly learned from features. To boost the performance, we also adopt the popular hierarchical association and perform the necessary alignment and selection of raw detection responses. Our model trains over 20X faster than a similar approach, and achieves the state-of-the-art performance on both MOT2016 and MOT2017 benchmarks.

연구 동기 및 목표

• 수작업으로 설계된 목표 함수와 비용 함수가 필요로 하는 전통적인 MOT 방법의 한계를 해결하기 위해.
• 특성 학습과 데이터 연관성을 하나의 엔드 투 엔드 학습 가능한 프레임워크로 통합하여 MOTA와 같은 추적 메트릭을 직접 최적화할 수 있도록 하기 위해.
• 트랙릿 구축을 통해 운동적 종속성을 통합함으로써 장기 추적의 강인성을 향상시키기 위해.
• 양면 최적화 프레임워크에 근사 기울기 방법을 도입하여 훈련 속도를 가속화하고 수렴 안정성을 향상시키기 위해.
• 현대적 및 고전적 검출기 모두가 제안 정렬과 이상치 제거에서 유의미한 이점을 얻을 수 있음을 입증하기 위해.

제안 방법

• 엔드 투 엔드 역전파를 사용하여 특성 임bedding과 연관 비용을 동시에 최적화하는 양면 최적화 프레임워크를 도입한다.
• 딥 메트릭 학습을 위해 트리플릿 네트워크를 활용하여 검출 반응에서 외관 임베딩을 추출한다.
• 외관 및 공간적 특징을 기반으로 다층 퍼셉트론(MLP)을 사용해 인접한 검출 결과로부터 트랙릿을 생성한다.
• 훈련을 안정화하고, 비용 매개변수의 범위가 무한대일 경우에도 수렴 가능하게 하기 위해 새로운 근사 기울기 방법을 적용한다.
• 트랙릿 생성 이전에 검출 품질을 향상시키기 위해 제안 정렬 및 선택을 포함한 계층적 연관 전략을 적용한다.
• 딥 특징에서 유도된 학습 가능한 단항 비용과 쌍항 비용을 사용한 네트워크 플로우를 통해 전역 최적화를 구현한다.

실험 결과

연구 질문

• RQ1 수작업으로 설계된 비용 함수에 비해 연관 비용의 엔드 투 엔드 학습이 다중 객체 추적 성능을 향상시키는가?
• RQ2 양면 최적화 프레임워크에 트랙릿을 통합함으로써 장기 추적의 강인성이 어떻게 향상되는가, 특히 가림 상황에서 어떻게 성능이 향상되는가?
• RQ3 정렬 및 이상치 제거가 다양한 검출 모델에서 성능 향상에 얼마나 기여하는가?
• RQ4 양면 최적화에서 근사 기울기를 사용하면 정확한 방법에 비해 더 빠르고 안정적인 훈련이 가능한가?
• RQ5 학습된 특징과 통합 최적화가 기존의 이단계 접근 방식보다 더 높은 MOTA 성능을 낼 수 있는가?

주요 결과

• TAT는 MOT2016에서 최고 수준의 MOTA 67.4를 기록했으며, MOT2017에선 59.7을 달성하여 이전 방법을 초월한다.
• 근사 기울기 방법 덕분에 슈라터 등 [29]의 유사한 엔드 투 엔드 접근 방식보다 훈련 속도가 20배 이상 빠르다.
• 윈도우 크기가 30 프레임을 초과할 경우 [NETFLOW]와 TAT 모두 성능 저하가 심각하게 발생하지만, [E2EP]는 안정적인 수작업 단항 비용 덕분에 강인성을 유지한다.
• 트랙릿 길이에 따라 가중치를 적용한 TL 방식은 MOTA를 35.9에서 36.9로 향상시켜 더 긴 트랙릿이 추적 정확도에 더 큰 기여를 한다는 점을 확인한다.
• TL과 TG 가중치를 병합한 조합은 최고의 성능을 기록하며(MOTA 37.0), IDS는 69에서 75로, FP는 378에서 388로 각각 증가한다.
• 절단 분석 결과, 현대적 및 고전적 검출기 모두가 제안 정렬 및 선택을 통해 유의미한 성능 향상을 얻으며, 특히 잡음 신호 감소에 기여한다.