[論文レビュー] Wearable Audio and IMU Based Shot Detection in Racquet Sports

Manish Sharma, Akash Anand+2 more|arXiv (Cornell University)|May 14, 2018

Video Analysis and Summarization参考文献 6被引用数 6

ひとこと要約

本稿では、テーブルテニスなどのラケットスポーツにおけるリアルタイムでウェアラブルベースのシュート検出システムを提案する。ウェアラブルデバイスから得られる音声とインertial measurement unit (IMU) データを融合し、新規の音声ピーク関数 (APF) と IMU ピーク関数 (IPF) を用い、相互相関に基づく同期化手法を採用することで、95.6% の F スコアを達成。個々のセンサーより顕著に優れた性能を示した。

ABSTRACT

Wearables like smartwatches which are embedded with sensors and powerful processors, provide a strong platform for development of analytics solutions in sports domain. To analyze players' games, while motion sensor based shot detection has been extensively studied in sports like Tennis, Golf, Baseball; Table Tennis and Badminton are relatively less explored due to possible less intense hand motion during shots. In our paper, we propose a novel, computationally inexpensive and real-time system for shot detection in table tennis, based on fusion of Inertial Measurement Unit (IMU) and audio sensor data embedded in a wrist-worn wearable. The system builds upon our presented methodology for synchronizing IMU and audio sensor input in time using detected shots and achieves 95.6% accuracy. To our knowledge, it is the first fusion-based solution for sports analysis in wearables. Shot detectors for other racquet sports as well as further analytics to provide features like shot classification, rally analysis and recommendations, can easily be built over our proposed solution.

研究の動機と目的

• ウェアラブルデバイスを用いたラケットスポーツ向けに、計算効率が高くリアルタイム性を備えたシュート検出システムの開発。
• テーブルテニスやバドミントンなど、低強度の手の動きが特徴のスポーツにおける、従来の IMU に基づく検出法の限界を克服すること。
• 音声と IMU データの融合を新たな特徴空間として活用し、シュート検出精度の向上を図ること。
• ピークに基づく相互相関を用いた音声と IMU 信号間の同期化手法の提案。
• 今後のアナリティクス、例えばシュート分類、ラリー解析、パフォーマンス推奨の基盤を構築すること。

提案手法

• システムは10msのマイクロフレームと100msのマクロフレーム構造を採用し、短時間エネルギー (STE) を計算。100Hzで音声ピーク関数 (APF) を導出し、シュートの可能性を推定。
• 加速度計とジャイロスコープのデータから100Hzで IMU ピーク関数 (IPF) を計算。500msの近傍における局所的最大値をシュート候補として特定。
• ピーク関数を用いた相互相関に基づく同期化手法により、音声と IMU 信号を時間的に整合。20秒間のトレーニングデータでのみ、平均絶対誤差32msを達成。
• 候補となるシュートポイントの周囲に、5つの特徴（APF、IPF、径方向加速度 a_rad、接線方向加速度 a_tan、径方向角速度 ω_rad）を抽出。
• 同期化済みの特徴豊富なデータを用い、50本の決定木を用いたランダムフォレスト分類器を訓練。各候補をシュートまたはノンシュートに分類。
• 連続するシュート検出は、重複を避けるために最初のピークのみを保持することで統合。

実験結果

リサーチクエスチョン

• RQ1 音声と IMU センサーフュージョンは、低運動量のラケットスポーツ（例：テーブルテニス）におけるシュート検出精度を向上させ得るか？
• RQ2 異なるサンプリングレートと信号特性を有する音声と IMU 信号を、リアルタイムウェアラブルシステムで効果的に同期できるか？
• RQ3 最適化されたフィルタを用いた提案された音声ピーク関数 (APF) は、従来のエネルギーピーク検出 (EPD) より優れた性能を示すか？
• RQ4 IMU と音声の特徴を組み合わせることで、単独で使用する場合と比較して、検出性能がどの程度向上するか？
• RQ5 本手法は、ウェアラブルプラットフォーム上でシュート分類やラリー解析といった高度なアナリティクスへ拡張可能か？

主な発見

• 提案手法はシュート検出において95.6%のFスコアを達成。個々のセンサーベース手法と比較して15%の向上を示した。
• 23タップのトレーニングフィルタを用いたAPFベースの音声検出器は80%のFスコアを達成。EPDオンリーメソッド（42% Fスコア）を上回り、EPD+MBR (C-SVC) メソッドと同等の性能を示した。
• IPFを用いたIMUベースの検出器は78%のFスコアを達成。同じデータセットで55%のFスコアを達成したSrivastava [2]の手法を上回った。
• 同期化手法は、たった20秒間のセンサーデータで平均絶対誤差32msを達成。音声とIMUストリームの信頼性ある整合を実現した。
• APF、IPF、a_rad、a_tan、ω_rad の全5特徴がシュートクラスと0.4以上の相関を示し、分類に有用であることが裏付けられた。
• 50本の決定木を用いたランダムフォレスト分類器が、テスト済みのモデルの中で最高のFスコア（95.6%）を達成。SVM-RBF（91.5% Fスコア）を上回った。