[논문 리뷰] Simple Cues Lead to a Strong Multi-Object Tracker

Jenny Seidenschwarz, Guillem Brasó외 3명|arXiv (Cornell University)|2022. 06. 09.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 논문은 재식별(reID) 모델과 선형 운동 모델을 조합함으로써 네 가지 다양한 데이터셋(MOT17, MOT20, BDD100k, DanceTrack)에서 최신 기준 성능(SOTA)을 달성하는 간단하면서도 강력한 검출 기반 추적기인 GHOST를 제안한다. 실시간 도메인 적응과 활성/비활성 트랙에 대한 별도 처리를 도입하여 추적 전용 학습 데이터 없이도 뛰어난 성능을 발휘한다.

ABSTRACT

For a long time, the most common paradigm in Multi-Object Tracking was tracking-by-detection (TbD), where objects are first detected and then associated over video frames. For association, most models resourced to motion and appearance cues, e.g., re-identification networks. Recent approaches based on attention propose to learn the cues in a data-driven manner, showing impressive results. In this paper, we ask ourselves whether simple good old TbD methods are also capable of achieving the performance of end-to-end models. To this end, we propose two key ingredients that allow a standard re-identification network to excel at appearance-based tracking. We extensively analyse its failure cases, and show that a combination of our appearance features with a simple motion model leads to strong tracking results. Our tracker generalizes to four public datasets, namely MOT17, MOT20, BDD100k, and DanceTrack, achieving state-of-the-art performance. https://github.com/dvl-tum/GHOST.

연구 동기 및 목표

• 기존의 수작업으로 설계된 특징을 사용하는 검출 기반 추적 방법이 종합적인 어텐션 기반 모델에 맞먹거나 이를 초월할 수 있는지 조사하기 위해.
• 장기적인 가림과 다양한 이미지 통계 변화 상황에서 표준 reID 모델이 MOT에 적용될 때 나타나는 핵심 설계 결함을 규명하기 위해.
• 데이터셋 특화 캘리브레이션이나 추적 데이터 학습 없이도 다양한 데이터셋에서 우수한 성능을 내는 일반적인 추적기를 개발하기 위해.
• 도메인 특화 지식과 적절한 신호 통합이 복잡하고 데이터에 의존적인 모델을 능가할 수 있음을 보여주기 위해.

제안 방법

• 다양한 시각 조건과 시간 간격에서 reID 특징을 정렬하기 위해 실시간 도메인 적응을 도입한다.
• 장기적인 추적 안정성을 향상시키기 위해 활성 트랙과 비활성 트랙에 대해 서로 다른 연관 정책을 적용한다.
• 외형과 운동 특징을 가중치 합으로 융합하며, 데이터셋에 맞게 가중치를 동적으로 조정한다.
• 운동 일致성을 확보하기 위해 속도 추정과 칼만 필터 유사 업데이트를 사용하는 선형 운동 모델을 적용한다.
• 외형 거리와 운동 거리의 복합 비용 행렬을 사용하여 검출과 트랙 간 이분 매칭을 위해 표준 헝가리안 알고리즘을 활용한다.
• 모델 아키텍처나 시퀀스 수준이 아닌, 데이터셋 수준에서만 고수준 하이퍼파rameter(임계값, 운동 가중치, 트랙 기록 길이)만 조정한다.

Figure 1 : IDF1/Rank-1 of different state-of-the-art re-ID approaches. R50-TR [ 82 ] , BOT [ 37 ] , BDB [ 16 ] , ABD [ 12 ] . Basic is our baseline, Ours is our appearance model.

실험 결과

연구 질문

• RQ1 수작업으로 설계된 외형 및 운동 특징을 사용하는 단순한 검출 기반 추적 파이프라인은 추적 데이터 학습 없이도 최신 기준 성능을 달성할 수 있는가?
• RQ2 최신 기준 reID 모델은 reID 벤치마크에서 뛰어난 성능을 보이지만, 왜 MOT에서는 실패하는가?
• RQ3 어떤 추적 상황에서 외형 정보만으로는 부족하고, 운동 모델링이 필요한가?
• RQ4 도메인 적응과 트랙 상태 인식 처리가 실세계 MOT 상황에서 reID 기반 추적 성능을 어떻게 향상시킬 수 있는가?

주요 결과

• GHOST는 추적 데이터셋 학습 없이도 MOT17, MOT20, BDD100k, DanceTrack에서 최신 기준 성능을 달성한다.
• 제안된 실시간 도메인 적응은 다양한 이미지 통계와 시간 간격에서 reID 특징의 강인성을 크게 향상시킨다.
• 활성 및 비활성 트랙에 대한 별도 처리로 트랙 분할 현상이 감소하고 장기적인 연관 정확도가 향상된다.
• 외형과 운동 특징을 적응형 가중치로 융합한 결과, 특히 가림과 저조도 조건에서 순수 외형 또는 운동 모델보다 우수한 성능을 발휘한다.
• 간단한 구조임에도 불구하고, MOT17에서 사전 추출된 검출 결과를 사용할 경우 약 6FPS의 경쟁적인 추론 속도를 유지하며, SOTA 추적기와 유사한 성능을 보인다.
• 시각화 결과 GHOST는 장기적인 가림(최대 9.4초)과 저조도(가시성 점수 0.2) 상황에서도 사람을 정확히 연속적으로 연관시키며, CenterTrack가 실패하는 상황에서도 성능을 유지를 한다.

(a) Appearance