[논문 리뷰] DeepSportLab: a Unified Framework for Ball Detection, Player Instance Segmentation and Pose Estimation in Team Sports Scenes

Seyed Abolfazl Ghasemzadeh, Gabriel Van Zandycke외 4명|arXiv (Cornell University)|2021. 12. 01.

Sports Analytics and Performance인용 수 6

한 줄 요약

DeepSportLab는 단일 CNN을 사용하여 팀 스포츠에서 볼 탐지, 플레이어 인스턴스 세그멘테이션, 인간 자세 추정을 통합적으로 수행하는 유일한 딥러닝 프레임워크를 제안한다. 부분 강도 필드와 공간 임베딩을 활용하여 DeepSport 농구 데이터셋에서 최신 기술 수준의 성능을 달성하며, 공통된 특징 추출과 경량 디코딩 덕분에 계산 오버헤드를 줄인다.

ABSTRACT

This paper presents a unified framework to (i) locate the ball, (ii) predict the pose, and (iii) segment the instance mask of players in team sports scenes. Those problems are of high interest in automated sports analytics, production, and broadcast. A common practice is to individually solve each problem by exploiting universal state-of-the-art models, \\eg, Panoptic-DeepLab for player segmentation. In addition to the increased complexity resulting from the multiplication of single-task models, the use of the off-the-shelf models also impedes the performance due to the complexity and specificity of the team sports scenes, such as strong occlusion and motion blur. To circumvent those limitations, our paper proposes to train a single model that simultaneously predicts the ball and the player mask and pose by combining the part intensity fields and the spatial embeddings principles. Part intensity fields provide the ball and player location, as well as player joints location. Spatial embeddings are then exploited to associate player instance pixels to their respective player center, but also to group player joints into skeletons. We demonstrate the effectiveness of the proposed model on the DeepSport basketball dataset, achieving comparable performance to the SoA models addressing each individual task separately.

연구 동기 및 목표

• 복잡한 팀 스포츠 환경에서 볼 탐지, 플레이어 세그멘테이션, 자세 추정에 대해 상용 모델을 사용할 때 발생하는 한계를 해결하기 위해.
• 세 가지 관련 작업을 하나의 공통 딥러닝 프레임워크로 통합함으로써 계산 비용을 줄이고 성능을 향상시키기 위해.
• 실내 스포츠에서의 가림, 운동 왜곡, 낮은 대비 문제를 해결하기 위해 스포츠 전용 데이터셋으로 훈련함으로써.
• 공동 훈련이 인스턴스 세그멘테이션과 자세 추정 성능을 향상시키며, 경쟁 수준의 볼 탐지 정확도를 유지함을 입증하기 위해.
• 실시간 스포츠 방송 및 분석 응용 프로그램에 적합한 경량이고 구현 가능한 솔루션을 제공하기 위해.

제안 방법

• 모델은 세분류 점수, 인스턴스 중심 연결을 위한 오프셋 벡터, 17개의 신체 부위, 플레이어 중심점, 볼 중심점을 포함한 19개의 관절 유형을 위한 부분 강도 필드(PIF)를 예측하기 위해 공통된 CNN 백본을 사용한다.
• 부분 강도 필드는 각 관절에 대해 신뢰도 맵, 정위치 벡터, 스케일 파rameter를 제공하여 볼과 신체 부위의 고해상도 탐지를 가능하게 한다.
• 공간 임베딩은 픽셀을 해당 인스턴스 중심점에 연결하고, 파트 관절을 일관된 뼈대 구조로 그룹화하는 데 사용되며, Part Affinity Fields(패널티 필드)가 필요로 하지 않는다.
• 인스턴스 세그멘테이션 헤드는 세분류 점수, 오프셋 벡터, 플레이어 중심점 예측을 융합하여 정확한 플레이어 마스크를 생성한다.
• 자세 디코딩 모듈은 예측된 관절 신뢰도 맵과 마스크를 결합하여 전체 플레이어 자세를 재구성하며, 볼 위치는 볼 관절 신뢰도 맵에서 직접 추출된다.
• 모델은 COCO와 DeepSport 데이터셋의 조합으로 훈련되며, 볼 탐지 및 자세 추정 성능 향상을 위해 스포츠 전용 데이터로 파인튜닝된다.

실험 결과

연구 질문

• RQ1 통합 딥러닝 프레임워크가 볼 탐지, 플레이어 인스턴스 세그멘테이션, 자세 추정을 경쟁 수준의 성능으로 동시에 수행할 수 있는가?
• RQ2 각 작업에 대해 별도로 훈련하는 것과 비교해 공동 훈련이 성능 향상에 기여하는가?
• RQ3 부분 강도 필드와 공간 임베딩이 실내 팀 스포츠 환경에서의 가림과 운동 왜곡을 효과적으로 다룰 수 있는가?
• RQ4 Part Affinity Fields 없이 공간 임베딩을 사용하는 것이 뼈대 재구성에 충분한가? 이는 디코딩 복잡도를 감소시킬 수 있는가?
• RQ5 고정밀도 볼 탐지 및 자세 추정을 달성하기 위해 스포츠 전용 데이터셋의 사용이 얼마나 필수적인가?

주요 결과

• 모델이 COCO와 DeepSport 데이터셋 모두로 훈련된 경우, DeepSport 데이터셋에서 볼 탐지 품질(bDQ)이 52.07로 나타나, COCO 데이터셋으로만 훈련한 경우(23.19)보다 유의미하게 높은 성능을 보였다.
• 공동 훈련 덕분에 인스턴스 세그멘테이션 작업이 향상되어 마스크 AP는 82.1, AR는 42.4를 기록했으며, 자세 추정은 pDQ 90.1과 pEQ 87.5를 달성했다.
• 다른 작업과 함께 공동 훈련할 경우 볼 탐지 성능이 향상되었으며, 공동 설정에서 bDQ는 54.72, 전체 다중 작업 모델에서는 52.07이었으며, 다중 작업 학습의 이점이 일부 확인되었다.
• 예측된 마스크를 사용해 관절을 인스턴스에 할당하는 자세 디코딩 모듈은 PifPaf의 PAF 기반 접근 방식에 비해 디코딩 복잡도를 감소시켰다.
• COCO 데이터셋으로만 훈련할 경우 볼 탐지 성능이 열악했으며(bDQ = 23.19), 이는 고정밀도 성능 달성에 스포츠 전용 데이터셋이 필수적임을 입증한다.
• 모델의 추론 시간은 이미지당 436±106 ms로 단축되었으며, 메모리 프로파일은 1757 MB로 실시간 배포에 실용적이다.