[논문 리뷰] GIAOTracker: A comprehensive framework for MCMOT with global information and optimizing strategies in VisDrone 2021

Yunhao Du, Junfeng Wan외 4명|arXiv (Cornell University)|2022. 02. 24.

Video Surveillance and Tracking Methods참고 문헌 48인용 수 7

한 줄 요약

GIAOTracker는 드론 영상에서 다중 클래스 다중 객체 추적(MCMOT)을 위한 혁신적인 삼단계 프레임워크로, 최첨단 성능을 달성하기 위해 전역 정보와 최적화 전략을 통합한다. 적응형 운동 모델링, 전역 특징 추출기(GIModel), 그리고 네 가지 후처리 기법을 통해 추적 성능을 향상시켜 VisDrone2021 MOT 챌린지에서 54.18 mAP를 기록하고 2위를 차지했다.

ABSTRACT

In recent years, algorithms for multiple object tracking tasks have benefited from great progresses in deep models and video quality. However, in challenging scenarios like drone videos, they still suffer from problems, such as small objects, camera movements and view changes. In this paper, we propose a new multiple object tracker, which employs Global Information And some Optimizing strategies, named GIAOTracker. It consists of three stages, i.e., online tracking, global link and post-processing. Given detections in every frame, the first stage generates reliable tracklets using information of camera motion, object motion and object appearance. Then they are associated into trajectories by exploiting global clues and refined through four post-processing methods. With the effectiveness of the three stages, GIAOTracker achieves state-of-the-art performance on the VisDrone MOT dataset and wins the 3rd place in the VisDrone2021 MOT Challenge.

연구 동기 및 목표

• 드론 영상 추적에서의 소형 객체, 카메라 운동, 시야 변화와 같은 과제를 해결한다.
• 전역 정보 통합과 추적 단계 최적화를 통해 추적의 강건성과 정확도를 향상시킨다.
• 복잡한 UAV 환경에서의 온라인 추적, 전역 연동, 후처리를 향상시키는 종합적인 프레임워크를 개발한다.
• 새로운 특징 및 운동 모델링 전략을 통해 검출 노이즈와 가림 현상으로 인한 추적 오차를 줄인다.
• 경로 정제, 보간, 재평가, 모델 융합과 같은 후처리 기법의 효과를 입증한다.

제안 방법

• 동적 특징 상태를 유지하고 특징 변화 정보를 추적하는 특징 저장 및 업데이트 전략인 EMA Bank를 제안한다.
• 검출 품질에 따라 측정 노이즈 스케일을 동적으로 조정하는 Noise Scale Adaptive Kalman(NAK)을 도입하여 운동 모델링을 향상시킨다.
• 자기주의 기반의 시간적 모델링 블록을 통해 전역 및 부분 수준의 외관 특징을 융합하는 트랙렛 특징 추출기인 GIModel을 설계한다.
• 트랙렛 특징과 시공간 거리를 기반으로 트랙렛을 전체 궤적으로 연동하는 전역 연결 단계를 구현한다.
• 다음 네 가지 후처리 전략을 적용한다: 시간적-IoU 기반 NMS를 통한 노이즈 제거, 선형 보간을 통한 누락 검출 보완, 길이 기반 재평가, 모델 융합을 위한 TrackNMS.
• 계층적 추적 파이프라인을 사용한다: 온라인 추적 → 전역 연결 → 후처리로, 강력하고 정확한 궤적 생성을 가능하게 한다.

Figure 1: Overview of our proposed GIAOTracker pipeline for MCMOT

실험 결과

연구 질문

• RQ1 드론 영상 MCMOT에서 전역 정보를 효과적으로 활용하여 궤적 연동을 향상시킬 수 있는가?
• RQ2 적응형 운동 모델링과 최적화된 특징 표현이 도전적인 UAV 환경에서 추적의 강건성을 얼마나 향상시키는가?
• RQ3 후처리 기법의 조합이 기본 추적기 성능을 초월해 추적 성능을 크게 향상시킬 수 있는가?
• RQ4 TrackNMS를 통한 모델 융합이 복잡한 드론 영상 시퀀스에서 추적 mAP에 어떤 영향을 미치는가?
• RQ5 검출 품질과 추적 프레임워크 설계 중 어느 것이 VisDrone2021에서 높은 성능을 달성하는 데 더 중요한 기여를 하는가?

주요 결과

• GIAOTracker는 VisDrone2021 테스트-챌린지 세트에서 54.18 mAP를 기록하여 총 157개의 제출 중 2위를 차지했다.
• annotation 기반 검출을 사용할 경우, GIAOTracker는 테스트-디브 세트에서 82.97 mAP를 기록했으며, 이는 최고의 단일 모델 결과 대비 92.4% 향상된 성능이다.
• 후처리 단계는 기여가 크며, 정제, 보간, 재평가 각각 mAP를 0.14, 0.23, 1.64 포인트 향상시켰다.
• TrackNMS를 통한 모델 융합은 성능을 43.12 mAP에서 44.46 mAP로 끌어올려 앙상블 추적의 효과를 입증했다.
• 전역 연결 단계는 특히 가림 및 시야 변화 상황에서 궤적의 끊김을 줄여 추적 성능을 크게 향상시켰다.
• NSA Kalman과 GIModel은 표준 선형 칼만 필터와 기본 특징 추출기보다 우수한 성능을 보여, 운동 및 외관 모델링에서의 효과성을 입증했다.

Figure 2: Comparision between DeepSORT (baseline) and GIAOTracker-Online (ours).