[논문 리뷰] Real-time Online Multi-Object Tracking in Compressed Domain

Qiankun Liu, Bin Liu외 3명|arXiv (Cornell University)|2022. 04. 05.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 실시간 온라인 다중 객체 추적 시스템인 OTCD를 제안한다. 이 시스템은 검출 및 데이터 연동을 위해 키 프레임만 처리하는 압축 도메인에서 작동하며, 공동으로 훈련된 외관 CNN을 사용한다. 비키 프레임은 운동 벡터와 잔차를 이용한 추적 CNN을 통해 운동 벡터를 통해 추적된다. 이 방법은 최신 온라인 추적기 대비 약 6배의 속도 향상을 달성하면서 성능 저하를 최소화하여 자율 주행과 같은 응용 분야에서 실시간 구동을 가능하게 한다.

ABSTRACT

Recent online Multi-Object Tracking (MOT) methods have achieved desirable tracking performance. However, the tracking speed of most existing methods is rather slow. Inspired from the fact that the adjacent frames are highly relevant and redundant, we divide the frames into key and non-key frames respectively and track objects in the compressed domain. For the key frames, the RGB images are restored for detection and data association. To make data association more reliable, an appearance Convolutional Neural Network (CNN) which can be jointly trained with the detector is proposed. For the non-key frames, the objects are directly propagated by a tracking CNN based on the motion information provided in the compressed domain. Compared with the state-of-the-art online MOT methods,our tracker is about 6x faster while maintaining a comparable tracking performance.

연구 동기 및 목표

• 기존 방법에서 높은 계산 비용을 유발하는 실시간 온라인 다중 객체 추적(MOT)의 과제를 해결한다.
• 영상 압축 도메인의 특징—운동 벡터와 잔차—를 활용하여 모든 프레임을 RGB로 복원하지 않고도 계산을 줄인다.
• 검출과 외관 모델링을 공동 최적화하는 통합 추적기를 개발하여 데이터 연동의 정확도를 향상시킨다.
• 키/비키 프레임 간 분리 전략을 통해 각 프레임 처리를 최소화하여 실시간 성능을 확보한다.
• 외관 특징과 운동 전파를 통합하여 가림 및 재등장 상황에서도 추적 정확도를 유지한다.

제안 방법

• 시간적 중복성을 기반으로 영상 프레임을 키 프레임과 비키 프레임으로 분할하고, 검출 및 외관 특징 추출을 위해 오직 키 프레임만 RGB로 복원한다.
• 검출기와 공유된 특징을 가지며, 데이터 연동의 신뢰성을 향상시키기 위해 공동으로 훈련되는 외관 CNN(A-CNN)을 도입한다.
• 압축 도메인의 운동 벡터(MVs)와 잔차를 사용하여 비키 프레임에서의 물체 전파를 위한 운동 신호를 추출한다.
• MV와 잔차를 입력으로 받아 비키 프레임에서 물체 바운딩 박스를 검출 없이 예측하는 추적 CNN(T-CNN)을 구현한다.
• IoU 기반 연동은 오직 키 프레임에서 적용하고, 외관 기반 연동은 놓친 객체나 재등장한 객체를 처리한다.
• 성능와 속도의 균형을 위해 최적의 키 프레임 간격 K=3을 선택하여 가짜 경고와 정체성 전환을 최소화한다.

실험 결과

연구 질문

• RQ1 압축 도메인의 운동 정보를 사용하여 전체 프레임 복원 없이도 비키 프레임 간 물체 트랙을 효과적으로 전파할 수 있는가?
• RQ2 검출기와 공동으로 훈련된 외관 CNN이 온라인 MOT에서 데이터 연동 정확도를 어떻게 향상시키는가?
• RQ3 실시간 압축 도메인 추적에서 속도와 정확도를 균형 잡는 데 최적의 키 프레임 간격(K)은 무엇인가?
• RQ4 오직 키 프레임만 처리함으로써 계산 비용을 얼마나 줄일 수 있으며, 경쟁적인 MOTA 점수를 유지할 수 있는가?
• RQ5 동일한 검출 파이프라인을 사용할 때, 제안된 추적기가 최신 온라인 MOT 방법과 비교해 속도와 정확도에서 어떻게 성능을 내는가?

주요 결과

• OTCD는 최신 온라인 MOT 방법 대비 약 6배의 빠른 추적 속도를 달성하면서도 동등한 MOTA 점수를 유지한다.
• 공개 검출 결과를 사용할 경우, OTCD는 당시의 SOTA 방법인 AMIR 대비 MOT16에서 17배 빠르게 작동하며 MOTA 점수는 1.0% 감소에 그친다.
• MOT17에서 OTCD 3은 33.4 Hz의 속도로 37.8%의 MOTA 점수를 기록했으며, 속도는 38.4 Hz인 GM_PHD보다 낮지만 MOTA 점수는 10.5% 높게 기록했다.
• 공동으로 훈련된 A-CNN의 사용은 데이터 연동 정확도를 향상시켜 정체성 전환을 줄이고 가림 상황에서도 안정성을 높였다.
• K가 1에서 3으로 증가함에 따라 IDS와 Frag가 크게 감소하여 재검출 빈도 감소로 인한 더 나은 정체성 일관성이 입증되었다.
• T-CNN 기반 전파 방식은 비키 프레임에서 계산 비용을 줄였지만, K가 높아지면서 객체 생성/소멸 처리가 어려워지고 누적 추적 오류가 발생함에 따라 성능 저하가 발생했다.