[논문 리뷰] Multi-Person Tracking By Multi-Scale Detection in Basketball Scenarios

Adrià Arbués-Sangüesa|arXiv (Cornell University)|2019. 07. 10.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 2

한 줄 요약

이 논문은 전체 해상도 프레임에서 코arse-to-fine 접근 방식과 슬라이딩 윈도우 검출을 사용하여 단일 카메라 영상에서 농구 선수를 다중 척도로 검출하고 추적하는 시스템을 제시한다. 이는 자세 기반 기하학적 및 콘텐츠 특징을 결합한 것으로, 새로 수집한 10,000개 이상의 바운딩 박스를 포함한 데이터셋에서 0.67의 MOTA와 높은 F1 스코어를 달성하여 가림과 운동 흐림 상황에서도 견고한 성능을 입증한다.

ABSTRACT

Tracking data is a powerful tool for basketball teams in order to extract advanced semantic information and statistics that might lead to a performance boost. However, multi-person tracking is a challenging task to solve in single-camera video sequences, given the frequent occlusions and cluttering that occur in a restricted scenario. In this paper, a novel multi-scale detection method is presented, which is later used to extract geometric and content features, resulting in a multi-person video tracking system. Having built a dataset from scratch together with its ground truth (more than 10k bounding boxes), standard metrics are evaluated, obtaining notable results both in terms of detection (F1-score) and tracking (MOTA). The presented system could be used as a source of data gathering in order to extract useful statistics and semantic analyses a posteriori.

연구 동기 및 목표

• 자주 발생하는 가림과 빠른 운동으로 인해 성능이 저하되는 단일 카메라 농구 영상에서의 다수 인물 추적 문제를 해결하기 위해.
• 저전력 장치에 적합한 경량이며 임베디드 친화적인 추적 시스템을 개발하기 위해.
• 다중 척도 검출 및 자세 추정을 통해 혼잡하고 제한된 코트 환경에서의 검출 및 추적 정확도를 향상시키기 위해.
• 농구 추적 평가를 위한 새로운 대규모 참값 데이터셋(10,000개 이상의 바운딩 박스 포함)을 구축하기 위해.
• 표준 평가 지표를 사용하여 다중 척도 검출 및 특징 융합이 추적 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 다양한 척도에서 선수를 검출하기 위해 코어스-투-파인 검출 전략을 적용하여, 부분적으로 가려진 또는 흐린 개체의 검출을 향상시킨다.
• 전체 해상도 프레임에서 슬라이딩 윈도우 기법을 사용하여 검출 민감도를 향상시키며, 특히 작은 크기나 빠르게 움직이는 대상에 유리하다.
• 선분 추출 및 투표를 통해 코트 경계를 검출하여 관심 영역을 정의함으로써, 관중이나 코트 외부 요소로 인한 오진 검출을 줄인다.
• 각 검출 결과에 자세 모델을 적용하여 관건점 기반 특징을 추출하고, 이는 프레임 간 추적의 일관성을 향상시키는 데 사용된다.
• 기하학적 및 콘텐츠 특징(자세 유사도 및 IoU 포함)을 조합하여 2프레임의 메모리 내성 기반 매칭 절차를 수행함으로써 추적의 안정성을 높인다.
• 공간적, 시간적, 외관적 신호를 융합하여 검출 결과를 프레임 간에 매칭하는 글로벌 최적화 프레임워크를 사용하여, 오진 검출과 누락 검출을 최소화한다.

실험 결과

연구 질문

• RQ1 자주 발생하는 가림이 있는 단일 카메라 농구 영상에서 다중 척도 검출 전략이 사람 검출 정확도를 향상시킬 수 있는가?
• RQ2 코어스-투-파인 및 슬라이딩 윈도우 검출 방법을 조합할 경우, 저조도 또는 운동 흐림 조건에서 검출 재현율과 정밀도에 어떤 영향을 미치는가?
• RQ3 외관 전용 또는 바운딩 박스 전용 매칭 대비 자세 기반 특징이 추적의 견고성에 얼마나 기여하는가?
• RQ4 새로 수집한 데이터셋에서 제안된 방법이 최신 기술 대비 MOTA 및 F1 스코어 측면에서 어떻게 성능을 내는가?
• RQ5 자세 모델에서 유도된 맥락적 특징 사용이 고가림 상황에서 추적 오류를 줄이는 데 얼마나 기여하는가?

주요 결과

• 제안된 다중 척도 검출 방법은 낮은 재현율에도 불구하고 정밀도가 크게 향상되고 오진 검출이 감소하여, YOLO 기반 검출 대비 F1 스코어에서 뛰어난 성능을 보였다.
• 코어스-투-파인과 슬라이딩 윈도우 검출의 조합은 개별 방법 대비 검출 재현율을 5% 향상시켜 오진 검출을 줄였다.
• 추적 매칭 과정에 2프레임의 메모리 내성 기반 설계를 도입함으로써 MOTA가 5% 향상되었으며, 이는 시간적 일관성의 이점이 있음을 입증했다.
• 새로운 데이터셋에서 시스템은 MOTA 0.67을 달성하여 가림과 빠른 운동 상황에서도 뛰어난 성능을 보였다.
• 전체 해상도 스캔을 사용할 경우 더 정확한 바운딩 박스 정렬이 가능하여 MOTP가 향상되어 추적 성능이 추가로 향상되었다.
• 최신 기술인 Joint Tracking + Segmentation 방법은 고성능 컴퓨팅을 요구하지만, 본 방법은 CPU만을 사용함에도 불구하고 MOTA에서 슈퍼리어한 성능을 보였다.