[논문 리뷰] Learning to associate detections for real-time multiple object tracking

Michel Meneses, Leonardo Nogueira Matos외 3명|arXiv (Cornell University)|2020. 07. 12.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 4

한 줄 요약

이 논문은 실시간 다중 객체 추적 방법인 SmartSORT를 제안한다. 이 방법은 감지 결과를 프레임 간에 연결하기 위해 유사도 함수를 학습하는 경량 다층 퍼셉트론(MLP) 신경망을 사용한다. 깊이 있는 외관 특징과 수작업으로 구성한 운동 특징을 슬라이딩 윈도우 방식으로 조합함으로써, 효율적인 연관 비용 예측을 가능하게 하여, 유사한 기준 대비 58% 더 빠른 속도로 최신 기술 수준의 정확도를 달성한다. 이는 온라인 및 임베디드 응용 분야에서 매우 효과적이다.

ABSTRACT

With the recent advances in the object detection research field, tracking-by-detection has become the leading paradigm adopted by multi-object tracking algorithms. By extracting different features from detected objects, those algorithms can estimate the objects' similarities and association patterns along successive frames. However, since similarity functions applied by tracking algorithms are handcrafted, it is difficult to employ them in new contexts. In this study, it is investigated the use of artificial neural networks to learning a similarity function that can be used among detections. During training, the networks were introduced to correct and incorrect association patterns, sampled from a pedestrian tracking data set. For such, different motion and appearance features combinations have been explored. Finally, a trained network has been inserted into a multiple-object tracking framework, which has been assessed on the MOT Challenge benchmark. Throughout the experiments, the proposed tracker matched the results obtained by state-of-the-art methods, it has run 58\% faster than a recent and similar method, used as baseline.

연구 동기 및 목표

• 감지 기반 추적에서 히ュ리스틱 기반의 유사도 함수의 한계를 해결하기 위해, 맥락에 따라 달라지며 새로운 시나리오에 적응하기 어려운 문제를 해결한다.
• 기계 학습을 활용해 다양한 데이터셋과 특징 유형 간에 일반화 가능한 확장성 있고 적응 가능한 유사도 함수를 개발한다.
• 고성능을 유지하면서 계산 오버헤드를 최소화하여 실시간 성능을 확보함으로써 온라인 다중 객체 추적을 가능하게 한다.
• 비용 효율적인 추적을 위해 복잡한 딥러닝 모델 대신 단순하고 컴act한 신경망을 사용하는 것을 탐색한다.
• 필터 기반 운동 모델링을 대체하기 위해 슬라이딩 윈도우 전략과 함께 학습된 회귀 모델을 활용하여 온라인 추적 프레임워크의 효율성을 향상시킨다.

제안 방법

• 다층 퍼셉트론(MLP) 신경망을 사용하여 고수준의 외관 및 운동 특징을 기반으로 감지 결과 간의 연관 비용을 예측한다.
• 특징으로는 사전 훈련된 CNN에서 유도한 깊이 있는 외관 임bedding과 칼만 필터에서 유도한 수작업으로 구성한 운동 특징(예: 위치, 속도)을 포함한다.
• 슬라이딩 윈도우 메커니즘이 과거 감지 결과를 집계함으로써 시간적 맥락을 포착하여, 명시적 순환층 없이도 시퀀스 모델링이 가능하다.
• MLP는 양성 및 음성 연관 쌍을 보행자 추적 데이터셋에서 샘플링하여, 지도 학습 기반의 backpropagation을 통해 훈련된다.
• 예측된 비용은 이분 그래프를 구성하는 데 사용되며, 선형 프로그래밍을 통해 감지 결과를 트랙에 할당한다.
• 트래커는 온라인으로 작동하며, 모든 쌍별 비용을 계산하기 위해 단일 행렬 연산을 사용해 각 프레임을 실시간으로 처리한다.

실험 결과

연구 질문

• RQ1 경량 신경망이 다양한 데이터셋 간에 일반화 가능한 강건한 유사도 함수를 다중 객체 추적의 감지 결과 연관에 대해 학습할 수 있는가?
• RQ2 히ュ리스틱 기반 방법과 비교했을 때, 학습된 유사도 함수의 정확도와 속도는 어떻게 다른가?
• RQ3 간단한 MLP 기반의 회귀 모델이 실시간 추적 응용에서 더 복잡한 딥러닝 아키텍처를 능가할 수 있는가?
• RQ4 비순환 모델을 사용하는 슬라이딩 윈도우 전략이 추적의 안정성과 정체성 일관성에 어느 정도 영향을 미치는가?
• RQ5 고차원의 깊이 있는 특징을 사용할 경우, 제안된 방법의 계산 비용은 어떻게 확장되는가?

주요 결과

• SmartSORT는 MOT Challenge 2016 벤치마크에서 IDP 68.5%와 FM 15.7%의 경쟁력 있는 추적 정확도를 달성하여 최신 기술 수준의 방법과 유사한 성능을 보였다.
• 유사한 깊이 있는 특징을 사용하는 최근 기준 방법 대비 58% 더 빠른 속도로 실행되어 뚜렷한 속도 향상을 입증했다.
• 간단한 구조임에도 불구하고 MLP 기반 모델은 낮은 회귀 오차를 기록하여 연관 비용 학습이 효과적으로 이루어졌음을 시사한다.
• 딥 뷰얼 특징을 사용하는 다른 트래커들, 특히 LSTM 기반 방법과 비교해 SmartSORT는 최소 59% 더 빠르게 작동했으며, 정확도는 3% 미만으로 낮게 유지했다.
• 주요 제한점은 슬라이딩 윈도우의 잘못된 연관에 취약하여 정체성 전환(ID)과 분할(FM)이 증가한 점이었다.
• 결과적으로, 컴act하고 학습된 회귀 모델이 온라인 추적에서 높은 비용 효율성을 달성할 수 있음을 확인했으며, 특히 임베디드 시스템에 매우 적합하다.