[논문 리뷰] Online and Real-Time Tracking in a Surveillance Scenario

Oliver Urbann, Oliver Bredtmann외 4명|arXiv (Cornell University)|2021. 06. 02.

Video Surveillance and Tracking Methods참고 문헌 9인용 수 10

한 줄 요약

이 논문은 실시간, 온라인 다중 객체 추적 방법인 LTSiam을 제안한다. 이는 선형 런타임 복잡도를 가지는 빠른 시아모프 네트워크를 사용하여 감시 시나리오에 적합하다. 피어링거 기반의 연관성 재구성은 코사인 유사도를 사용하고, 배치 추론을 위한 검출 결과를 버퍼링함으로써 MOT20에서 HOTA(68.1), MOTA(67.3), IDF1(71.4)에서 최고 성능을 달성한다. 이는 모든 실시간 트래커보다 뛰어나며, 프레임당 30ms 미만의 추론 시간을 유지한다.

ABSTRACT

This paper presents an approach for tracking in a surveillance scenario. Typical aspects for this scenario are a 24/7 operation with a static camera mounted above the height of a human with many objects or people. The Multiple Object Tracking Benchmark 20 (MOT20) reflects this scenario best. We can show that our approach is real-time capable on this benchmark and outperforms all other real-time capable approaches in HOTA, MOTA, and IDF1. We achieve this by contributing a fast Siamese network reformulated for linear runtime (instead of quadratic) to generate fingerprints from detections. Thus, it is possible to associate the detections to Kalman filters based on multiple tracking specific ratings: Cosine similarity of fingerprints, Intersection over Union, and pixel distance ratio in the image.

연구 동기 및 목표

• 정적 카메라를 사용하는 24시간 감시에 적합한 실시간, 온라인 다중 객체 추적 시스템을 개발한다.
• 기본적인 시아모프 네트워크의 추적 연관성에서 발생하는 이차 런타임 복잡도 문제를 해결한다.
• 이동 중인 카메라 데이터에 의존하지 않고도 혼잡한 장면에서 추적 정확도를 향상시킨다.
• 기존 실시간 트래커를 능가하면서도 실시간 성능을 유지한다.
• 특징 추출과 연관성 계산을 분리함으로써 효율적이고 확장 가능한 추론을 가능하게 한다.

제안 방법

• 각 트랙에 대해 칼만 필터를 사용하고, IoU, 픽셀 거리 비율, 시아모프 지문의 코사인 유사도를 조합한 비용 행렬을 통해 검출 결과를 할당한다.
• LTSiam은 VGG16 백본과 두 개의 완전 연결 계층을 갖춘 시아모프 CNN으로, 특징을 100차원으로 압축하여 유사도 계산을 빠르게 한다.
• 네트워크는 동일한 사람의 이미지 패치 간의 유사도를 예측하도록 훈련되며, 140만 개의 훈련 쌍에서 확률적 경사 하강법을 사용해 손실을 최소화한다.
• 선형 복잡도를 달성하기 위해 지문은 매 1~2초마다 배치로 사전 계산되며, 추론과 트래킹 업데이트를 분리한다.
• 코사인 유사도를 제곱하여 동일한 벡터와 반대 방향의 벡터 모두 유사한 것으로 간주함으로써, 외관 변화에 대한 강건성을 향상시킨다.
• 검출 결과는 1~2초 동안 버퍼링되어 GPU 추론 오버헤드를 숨기며, 최소 지연으로 온라인 동작을 유지한다.

실험 결과

연구 질문

• RQ1 다중 객체 추적에서 정확도를 유지하면서도 선형 복잡도를 달성할 수 있도록 시아모프 네트워크를 재구성할 수 있는가?
• RQ2 많은 검출 결과가 존재하는 고밀도 감시 환경에서 실시간 성능를 유지할 수 있는가?
• RQ3 엔드 투 엔드 유사도 학습을 갖춘 시아모프 네트워크가 기존의 외관 모델보다 추적 강건성을 향상시키는가?
• RQ4 온라인 추적 파이프라인에서 지문의 배치 추론을 효과적으로 사용할 수 있는가, 실시간 제약을 위반하지 않고서도?
• RQ5 MOT20 벤치마크에서 HOTA, MOTA, IDF1 측정치 측면에서 제안된 방법은 최신 실시간 트래커와 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 LTSiam 트래커는 MOT20 벤치마크에서 HOTA 점수 68.1을 기록하여 모든 다른 실시간 트래커를 능가한다.
• 트래커는 MOTA 67.3과 IDF1 71.4을 달성하여 여러 평가 지표에서 뛰어난 성능을 보인다.
• 프레임당 30ms 미만의 추론 시간을 유지하여 실시간 성능를 확보하며, 지속적인 온라인 추적을 가능하게 한다.
• 버퍼링된 배치 추론을 통해 GPU 오버헤드를 줄이고, 검출 수 M에 대해 선형 O(M) 복잡도의 지문 계산을 실현한다.
• 제곱된 코사인 유사도 손실은 동일한 정체성임을 나타내는 유사한 및 반대 방향의 특징 벡터를 모두 유사한 것으로 간주함으로써 강건성을 향상시킨다.
• 비실시간 기반 모델보다 HOTA와 MOTA에서 뛰어난 성능를 기록하면서도 실시간으로 실행되어 실시간과 비실시간 접근 방식 간의 성능 격차를 줄였다.