[논문 리뷰] DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion

Peize Sun, Jinkun Cao외 5명|arXiv (Cornell University)|2021. 11. 29.

Video Surveillance and Tracking Methods인용 수 23

한 줄 요약

이 논문은 인간의 외형이 균일하고 복잡하며 다양한 운동 패턴을 보이는 대규모 다객체 추적 데이터셋인 DanceTrack를 소개한다. 이는 외형 기반 추적 방법의 성능을 시험하는 데 목적을 두며, 운동 모델링과 자세, 세그멘테이션과 같은 세분화된 표현 방식을 강조함으로써 현재 최고 수준의 추적기가 DanceTrack에서 상당한 성능 저하를 보임을 입증한다. 이는 현재의 외형 중심 연관 전략의 한계를 드러내며, 더 강력하고 운동 인식 능력을 갖춘 추적 방법의 필요성을 제기한다.

ABSTRACT

A typical pipeline for multi-object tracking (MOT) is to use a detector for object localization, and following re-identification (re-ID) for object association. This pipeline is partially motivated by recent progress in both object detection and re-ID, and partially motivated by biases in existing tracking datasets, where most objects tend to have distinguishing appearance and re-ID models are sufficient for establishing associations. In response to such bias, we would like to re-emphasize that methods for multi-object tracking should also work when object appearance is not sufficiently discriminative. To this end, we propose a large-scale dataset for multi-human tracking, where humans have similar appearance, diverse motion and extreme articulation. As the dataset contains mostly group dancing videos, we name it "DanceTrack". We expect DanceTrack to provide a better platform to develop more MOT algorithms that rely less on visual discrimination and depend more on motion analysis. We benchmark several state-of-the-art trackers on our dataset and observe a significant performance drop on DanceTrack when compared against existing benchmarks. The dataset, project code and competition server are released at: \url{https://github.com/DanceTrack}.

연구 동기 및 목표

• 기존 다객체 추적 데이터셋이 뚜렷한 외형과 규칙적인 운동 패턴에 치우쳐 있는 경향을 해결한다.
• 시각적 분류 능력이 낮은 현실 세계 환경에서 외형 매칭에 크게 의존하는 현재 최고 수준의 추적기가 실패하는 원인을 폭 드러낸다.
• 운동 복잡성과 가림 현상을 강조하여 더 견고하고 운동 인식 능력을 갖춘 추적 알고리즘 개발을 유도하는 새로운 벤치마크를 개발한다.
• 어려운 현실 조건에서 다객체 추적 성능을 평가하고 향상시키기 위해 대규모이고 다양한 데이터셋을 제공한다.
• 경계 상자 외에 자세, 세그멘테이션, 깊이와 같은 추가 정보가 어려운 상황에서 추적 성능 향상에 기여하는지 분석한다.

제안 방법

• 외형이 유사하고 복잡한 비선형 운동 패턴을 보이는 그룹 댄스 영상로 구성된 대규모 다객체 추적 데이터셋인 DanceTrack을 제안한다.
• 외형 유사성과 빈번한 위치 교환, 가림 현상을 강조하여 10만장 이상의 이미지 프레임을 수집하고 경계 상자 및 정체성 레이블을 주석 처리한다.
• MOTA, HOTA, IDF1와 같은 표준 지표를 사용해 기존 최고 수준의 추적기를 DanceTrack에서 평가하여 성능 저하 정도를 정량화한다.
• COCO(마스크 및 자세 정보)와 KITTI(깊이 정보)와 같은 보조 데이터셋을 공동 학습하여 모델의 일반화 능력을 향상시키고 다중 모odal 출력을 가능하게 한다.
• 세그멘테이션 마스크, 인간 자세 추정, 깊이 정보가 추적 성능에 미치는 영향을 평가하기 위해 추론 분석(ablation study)을 수행한다.
• 검출에 CenterNet, 연관에 BYTE를 사용하는 통합 추적 파이프라인을 도입하여 실험 간 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 외형이 균일하고 운동 패턴이 복잡한 데이터셋에서 현재 최고 수준의 다객체 추적 방법은 어떤 성능을 보이는가?
• RQ2 경계 상자 외에 세분화된 표현 방식(예: 세그멘테이션 마스크, 인간 자세)이 추적의 견고성 향상에 기여하는 비율은 어떻게 되는가?
• RQ3 KITTI에서 확보한 깊이 정보를 DanceTrack에 통합할 경우 성능 향상이 이루어지는가? 도메인 차이로 인한 제약 조건은 무엇인가?
• RQ4 외형 정보가 신뢰할 수 없을 때 운동 모델링과 시간적 동역학이 추적 성능에 미치는 영향은 어떠한가?
• RQ5 보조 데이터셋(예: COCO)과의 공동 학습이 비외형 정보에 의존하는 경우 DanceTrack에서의 모델 성능 향상에 기여하는가?

주요 결과

• 최고 수준의 추적기가 DanceTrack에서 상당한 성능 저하를 보이며, MOTA가 MOT17의 90% 이상에서 78.8%로 떨어져 외형 기반 연관 전략이 분류 능력이 낮은 상황에서 실패함을 시사한다.
• 개체 세그멘테이션 마스크를 추가하면 MOTA가 1.8%p(78.8% → 80.6%) 향상되고 IDF1이 1.1점 상승하여 세분화된 공간 표현의 유용성을 입증한다.
• 자세 추정은 세그멘테이션보다 더 큰 성능 향상을 이끌어내며, MOTA는 4.1%p(78.8% → 82.9%) 상승하고 IDF1은 3.7점 상승한다. 이는 가림 상황에서도 더 높은 견고성 덕분이다.
• KITTI에서 확보한 깊이 정보를 기본 모델에 추가하면 MOTA가 0.1%p 향상되지만, KITTI(차량)와 DanceTrack(인간) 간 도메인 차이로 인해 전체 성능은 여전히 낮다.
• COCO에서의 마스크 및 자세 정보를 공통으로 학습하면 성능이 크게 향상되며, MOTA는 83.1%로 상승하고 IDF1은 43.9%로 상승한다. 이는 다중 모달 감독의 가치를 보여준다.
• 추론 분석 결과, 운동 모델링과 시간적 동역학이 핵심임을 확인하였으며, 외형 정보만을 사용할 경우 성능 저하가 심각하게 발생함을 확인하여 운동 인식 추적 설계의 필요성을 강조한다.