[논문 리뷰] Wearable Audio and IMU Based Shot Detection in Racquet Sports

Manish Sharma, Akash Anand외 2명|arXiv (Cornell University)|2018. 05. 14.

Video Analysis and Summarization참고 문헌 6인용 수 6

한 줄 요약

이 논문은 탁구와 같은 라켓 스포츠를 위한 실시간, 웨어러블 기반의 샷 탐지 시스템을 제안한다. 손목에 착용하는 장치에서 얻은 오디오 및 관성 측정 장치(IMU) 데이터를 융합하여, 신규로 제안된 오디오 피크 함수(APF)와 IMU 피크 함수(IPF)를 사용하고, 상호상관 기반 동기화 기법을 적용함으로써 95.6%의 F-스코어를 달성한다. 이는 개별 센서 접근 방식보다 유의하게 뛰어난 성능을 보인다.

ABSTRACT

Wearables like smartwatches which are embedded with sensors and powerful processors, provide a strong platform for development of analytics solutions in sports domain. To analyze players' games, while motion sensor based shot detection has been extensively studied in sports like Tennis, Golf, Baseball; Table Tennis and Badminton are relatively less explored due to possible less intense hand motion during shots. In our paper, we propose a novel, computationally inexpensive and real-time system for shot detection in table tennis, based on fusion of Inertial Measurement Unit (IMU) and audio sensor data embedded in a wrist-worn wearable. The system builds upon our presented methodology for synchronizing IMU and audio sensor input in time using detected shots and achieves 95.6% accuracy. To our knowledge, it is the first fusion-based solution for sports analysis in wearables. Shot detectors for other racquet sports as well as further analytics to provide features like shot classification, rally analysis and recommendations, can easily be built over our proposed solution.

연구 동기 및 목표

• 손목에 착용하는 웨어러블 기반의 계산 효율적이고 실시간 샷 탐지 시스템을 개발하기 위해.
• 탁구나 배드민턴과 같은 스포츠에서 낮은 강도의 손 움직임으로 인해 전통적인 IMU 기반 탐지에 한계가 존재하는 문제를 해결하기 위해.
• 향상된 샷 탐지 정확도를 위해 오디오 및 IMU 데이터 융합을 새로운 특징 공간으로 탐색하기 위해.
• 피크 기반 상호상관을 이용한 시간적 정렬을 통한 오디오 및 IMU 신호 간 동기화 방법을 제안하기 위해.
• 향후 샷 분류, 레이리 분석 및 성능 추천과 같은 고도의 분석 기반의 기초를 마련하기 위해.

제안 방법

• 시스템은 10ms 마이크로프레임과 100ms 마크로프레임 아키텍처를 사용하여, 100Hz에서 짧은 시간 에너지(STE)를 계산하고, 샷 가능성 추정을 위한 오디오 피크 함수(APF)를 유도한다.
• 가속도계 및 자이로스코프 데이터에서 100Hz에서 IMU 피크 함수(IPF)를 계산하며, 500ms 이웃 영역 내 국소 최댓값을 샷 후보로 식별한다.
• 피크 함수를 기반으로 한 상호상관 기반 동기화 방법을 통해 오디오 및 IMU 신호를 정렬하며, 단지 20초의 학습 데이터로 평균 절대 오차 32ms를 달성한다.
• 후보 샷 지점 주변에서 APF, IPF, 반경 가속도(a_rad), 접선 가속도(a_tan), 반경 각속도(ω_rad)의 다섯 가지 특징을 추출한다.
• 동기화된 특징이 풍부한 데이터를 기반으로 50개의 트리를 가진 랜덤 포레스트 분류기를 훈련하여 각 후보를 샷 또는 비-샷으로 분류한다.
• 연속적인 샷 탐지 결과는 오버카운팅을 방지하기 위해 첫 번째 피크만 유지함으로써 통합된다.

실험 결과

연구 질문

• RQ1 오디오 및 IMU 센서 융합이 탁구와 같은 저운동 강도 라켓 스포츠에서 샷 탐지 정확도를 향상시킬 수 있는가?
• RQ2 다른 샘플링 주기와 신호 특성에도 불구하고 실시간 웨어러블 시스템에서 오디오 및 IMU 신호를 효과적으로 동기화할 수 있는가?
• RQ3 최적화된 필터링을 적용한 제안된 오디오 피크 함수(APF)가 전통적인 에너지 피크 탐지(EPD)보다 샷 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ4 IMU 및 오디오 특징을 융합했을 때, 개별적으로 사용할 경우에 비해 탐지 성능 향상 정도는 어느 정도인가?
• RQ5 제안된 시스템이 웨어러블 플랫폼에서 샷 분류 및 레이리 분석과 같은 고도의 분석 기능을 지원하도록 확장 가능한가?

주요 결과

• 제안된 시스템은 샷 탐지에서 95.6%의 F-스코어를 달성하였으며, 개별 센서 기반 방법 대비 15% 향상된 성능을 보였다.
• 23타프 트레이닝 필터를 적용한 APF 기반 오디오 탐지기는 80%의 F-스코어를 기록하였으며, EPD 전용 방법(42% F-스코어)보다 뛰어나고, EPD+MBR(C-SVC) 방법과 동일한 성능을 달성하였다.
• IPF를 사용한 IMU 기반 탐지기는 78%의 F-스코어를 기록하였으며, 동일한 데이터셋에서 55%의 F-스코어를 달성한 Srivastava [2] 방법보다 뛰어났다.
• 단지 20초의 센서 데이터로도 동기화 방법이 평균 절대 오차 32ms를 달성하여 오디오 및 IMU 스트림 간 신뢰할 수 있는 정렬을 가능하게 하였다.
• 모든 다섯 가지 특징(APF, IPF, a_rad, a_tan, ω_rad)이 샷 클래스와 0.4 이상의 상관관계를 보이며, 분류에 대한 관련성을 입증하였다.
• 50개의 트리를 가진 랜덤 포레스트 분류기는 테스트된 모델들 중에서 가장 높은 F-스코어(95.6%)를 기록하였으며, SVM-RBF(91.5% F-스코어)보다 뛰어난 성능을 보였다.