[논문 리뷰] Single-Camera Basketball Tracker through Pose and Semantic Feature Fusion

Adrià Arbués-Sangüesa, Coloma Ballester외 1명|Zenodo (CERN European Organization for Nuclear Research)|2019. 06. 02.

Video Analysis and Summarization참고 문헌 22인용 수 7

한 줄 요약

이 논문은 카메라 안정화나 맥락적 특징 없이도 높은 정확도를 달성하기 위해 VGG-19 네트워크에서 유도된 포즈 및 딥 러닝 특징을 융합하는 단일 카메라 농구 추적기를 제안한다. 관건점 기반 포즈 추정과 10번째 합성곱층의 활성화 맵을 조합함으로써, 이 방법은 0.6843의 MOTA 스코어를 달성하여 전통적 특징보다 뛰어나며, 딥 러닝 특징만으로도 복잡하고 가림이 있는 장면에서도 견고한 추적을 가능하게 한다.

ABSTRACT

Tracking sports players is a widely challenging scenario, specially in single-feed videos recorded in tight courts, where cluttering and occlusions cannot be avoided. This paper presents an analysis of several geometric and semantic visual features to detect and track basketball players. An ablation study is carried out and then used to remark that a robust tracker can be built with Deep Learning features, without the need of extracting contextual ones, such as proximity or color similarity, nor applying camera stabilization techniques. The presented tracker consists of: (1) a detection step, which uses a pretrained deep learning model to estimate the players pose, followed by (2) a tracking step, which leverages pose and semantic information from the output of a convolutional layer in a VGG network. Its performance is analyzed in terms of MOTA over a basketball dataset with more than 10k instances.

연구 동기 및 목표

• 오염 및 작은 선수 해상도와 같은 도전적인 조건에서도 농구 영상에서 견고한 단일 카메라 다중 객체 추적기를 개발하는 것.
• 기하학적, 시각적, 딥 러닝 기반 특징이 선수 추적에 얼마나 효과적인지 평가하는 것.
• 맥락적 특징(예: 색상 유사도, 근접도)이나 카메라 안정화가 고성능 추적을 위해 필수적인지 여부를 확인하는 것.
• 신체 부위 해상도와 특징 융합이 추적 정확도에 미치는 영향을 조사하는 것.
• 딥 러닝 특징만으로도 기존 컴퓨터 비전 기법을 능가할 수 있음을 이 분야에서 입증하는 것.

제안 방법

• 먼저, 사전 학습된 포즈 추정 모델을 사용하여 선수와 그들의 포즈를 탐지하는 두 단계 추적-검출 파이프라인을 사용한다.
• VGG-19 네트워크의 10번째 합성곱층에서 딥 러닝 특징을 추출하며, 신체 부위에 대해 공간 풀링을 적용한다.
• 포즈 가이드드 특징 추출은 주요 해부학적 영역(예: 어깨, 허리, 무릎)에 집중하며, 각 부위 주변에 2×2 이웃 영역을 적용하여 강건성을 향상시킨다.
• 비교를 위해 기하학적 특징(픽셀 좌표 기반 상대 거리)과 시각적 특징(로컬 패치 내 RGB 유사도)도 평가한다.
• 세 프레임에 걸쳐 데이터 연동 문제를 해결하기 위해 맞춤형 헝가리안 알고리즘을 사용한다.
• 호모지어피 추정을 통한 카메라 안정화를 시험했지만, 딥 러닝 특징이 사용될 경우 필수적이지 않다는 것이 확인되었다.

실험 결과

연구 질문

• RQ1 딥 러닝 특징만으로도 단일 카메라 농구 영상에서 전통적 기하학적 및 시각적 특징보다 뛰어난 추적 성능을 달성할 수 있는가?
• RQ2 카메라 안정화가 추적 성능을 향상시키며, 딥 러닝 특징을 사용할 경우 필수적인가?
• RQ3 VGG-19의 어느 합성곱층이 농구 선수 추적에 가장 우수한 딥 러닝 특징 표현을 제공하는가?
• RQ4 신체 부위의 해상도와 판별 능력이 추적 성능에 어떤 영향을 미치는가?
• RQ5 기하학적 특징과 딥 러닝 특징을 융합하면 성능 향상이 발생하는가, 아니면 하나의 특징만으로도 충분한가?

주요 결과

• VGG-19의 10번째 합성곱층에서 유도된 딥 러닝 특징가 가장 우수한 성능을 보이며, 최대 MOTA 0.6843을 달성한다.
• 다운샘플된 신체 부위 주변에 2×2 공간 풀링을 적용하면 추적 성능이 향상되며, 특히 중간 해상도 특징에서 두드러진다.
• 기하학적 특징과 함께 사용할 경우 딥 러닝 특징이 시각적 특징보다 뛰어나며, 기하학적 특징과 융합해도 딥 러닝 특징만으로도 충분히 높은 성능을 달성한다.
• 해상도가 낮은 부위(예: 눈, 귀, 발끝)는 추적에 악영향을 미치며, MOTA 값이 0.10 이하로 떨어진다.
• 카메라 안정화는 기하학적 특징 성능을 향상시키지만, 딥 러닝 특징이 사용될 경우 필수적이지 않다. 딥 러닝 특징은 움직임에 대해 강건하기 때문이다.
• 제거 실험을 통해 맥락적 특징(색상 유사도, 근접도 등)이 딥 러닝 특징이 사용될 경우 고성능을 달성하기 위해 필수적인 것은 아님을 확인했다.