[논문 리뷰] Indoor Activity Detection and Recognition for Sport Games Analysis

Georg Waltner, Thomas Mauthner외 1명|arXiv (Cornell University)|2014. 04. 25.

Human Pose and Action Recognition참고 문헌 14인용 수 3

한 줄 요약

이 논문은 체스터플레이어 활동 인식을 향상시키기 위해 공간-시간적 맥락을 통합하는 활동 맥락(AC) 기술자를 도입한 맥락 인식 접근법을 제안한다. 이 기술자는 시간과 공간에 걸쳐 농구 선수의 활동 확률을 집계하여, 볼링경기에서 단일 선수 활동 인식의 평균 중심 분류 정확도를 77.56%에서 90.19%로 향상시킨다. 이는 1.6초 간격의 이웃 선수로부터의 맥락 정보를 통합함으로써 달성된다.

ABSTRACT

Activity recognition in sport is an attractive field for computer vision research. Game, player and team analysis are of great interest and research topics within this field emerge with the goal of automated analysis. The very specific underlying rules of sports can be used as prior knowledge for the recognition task and present a constrained environment for evaluation. This paper describes recognition of single player activities in sport with special emphasis on volleyball. Starting from a per-frame player-centered activity recognition, we incorporate geometry and contextual information via an activity context descriptor that collects information about all player's activities over a certain timespan relative to the investigated player. The benefit of this context information on single player activity recognition is evaluated on our new real-life dataset presenting a total amount of almost 36k annotated frames containing 7 activity classes within 6 videos of professional volleyball games. Our incorporation of the contextual information improves the average player-centered classification performance of 77.56% by up to 18.35% on specific classes, proving that spatio-temporal context is an important clue for activity recognition.

연구 동기 및 목표

• 팀원으로부터의 맥락적 단서를 활용하여 실내 스포츠에서 단일 선수 활동 인식을 향상시키기 위해.
• 선수 간 공간-시간적 관계를 모델링하는 새로운 활동 맥락(AC) 기술자를 개발하기 위해.
• 프로 농구 영상에서 맥락 정보가 활동 인식 성능에 미치는 영향을 평가하기 위해.
• 6场의 프로 농구 경기에서 36,000개의 애너테이션 프레임을 포함한 새로운 실생활 데이터셋을 제공하기 위해.
• 팀 수준의 맥락이 '블록'과 '서비스'와 같은 스포츠 특화 행동 인식을 향상시키는지 입증하기 위해.

제안 방법

• 이 방법은 외관과 운동을 위해 HOG와 HOF를 사용한 프레임별 특징 추출을 시작으로, 실세계 선수 좌표(RWPC) 및 공간 맥락(SC) 기술자를 통합한다.
• 이러한 특징에 기반해 훈련된 서포트 벡터 머신(SVM)을 사용하여 선수 활동을 분류한다.
• 활동 맥락(AC) 기술자가 도입되어 k 프레임의 시간 창 동안 모든 선수의 활동 확률을 집계한다.
• AC 기술자는 코트 평면 상의 공간 빈(bin)을 사용하여 대상 선수에 대한 위치 및 활동 맥락을 모델링한다.
• 성능 최적화를 위해 750개 이상의 기술자 및 SVM 파라미터 조합을 평가한다.
• AC 기술자는 다양한 시간 간격(k = 10에서 100 프레임)에 적용되어 최적의 맥락 길이를 도출한다.

실험 결과

연구 질문

• RQ1 팀원으로부터의 공간-시간적 맥락을 통합할 경우 농구에서 단일 선수 활동 인식이 얼마나 향상되는가?
• RQ2 활동 인식에서 맥락 집계에 최적의 시간 창 길이는 얼마인가?
• RQ3 AC 기술자가 '리셉션'과 '디펜스/이동'과 같은 유사 클래스 간 혼동을 얼마나 줄이는가?
• RQ4 HOG, HOF, RWPC, SC 등의 다양한 특징 조합이 인식 정확도에 어떤 영향을 미치는가?
• RQ5 맥락 기반 모델링이 '블록'과 '서비스'와 같은 스포츠 특화 행동 인식을 향상시킬 수 있는가?

주요 결과

• 활동 맥락(AC) 기술자의 통합은 기준 단일 선수 인식 대비 농구 특화 행동의 평균 분류 정확도를 7.20% 향상시켰다.
• 가장 높은 전체 정확도 90.19%는 40프레임(1.6초)의 맥락 창에서 달성되었으며, 기준값 77.56%를 초월했다.
• 블록 클래스는 AC 기술자로 97.60%의 가장 높은 인식률을 기록했고, 서비스 클래스는 97.13%에 도달했다.
• 리셉션 클래스는 맥락 도입으로 18.35%의 가장 큰 향상을 보였으며, 정확도는 73.27%에서 91.62%로 상승하여 '디펜스/이동'과의 혼동을 해결했다.
• 일반적인 두 클래스인 '스탠드'와 '디펜스/이동'은 AC 적용으로 정확도가 감소했는데, 이는 무작위로 발생하고 일관된 시간 맥락이 없기 때문이다.
• RBF 및 다항식 SVM 커널이 선형 및 시그모이드 커널보다 우수했으며, 특히 다항식 커널이 가장 뛰어난 전반적 성능을 보였다.