[论文解读] Wearable Audio and IMU Based Shot Detection in Racquet Sports

Manish Sharma, Akash Anand+2 more|arXiv (Cornell University)|May 14, 2018

Video Analysis and Summarization参考文献 6被引用 6

一句话总结

本文提出了一种基于可穿戴设备的实时乒乓球击球检测系统，通过融合腕戴设备中的音频与惯性测量单元（IMU）数据，实现对网球类球拍运动的击球检测。通过一种新颖的音频峰值函数（APF）与IMU峰值函数（IPF），并结合基于互相关的时间同步方法，系统在击球检测中取得了95.6%的F1分数，显著优于单一传感器方法。

ABSTRACT

Wearables like smartwatches which are embedded with sensors and powerful processors, provide a strong platform for development of analytics solutions in sports domain. To analyze players' games, while motion sensor based shot detection has been extensively studied in sports like Tennis, Golf, Baseball; Table Tennis and Badminton are relatively less explored due to possible less intense hand motion during shots. In our paper, we propose a novel, computationally inexpensive and real-time system for shot detection in table tennis, based on fusion of Inertial Measurement Unit (IMU) and audio sensor data embedded in a wrist-worn wearable. The system builds upon our presented methodology for synchronizing IMU and audio sensor input in time using detected shots and achieves 95.6% accuracy. To our knowledge, it is the first fusion-based solution for sports analysis in wearables. Shot detectors for other racquet sports as well as further analytics to provide features like shot classification, rally analysis and recommendations, can easily be built over our proposed solution.

研究动机与目标

• 开发一种计算高效、实时的球拍类运动击球检测系统，利用腕戴可穿戴设备。
• 解决乒乓球和羽毛球等运动中低强度手部动作带来的挑战，此类动作限制了传统基于IMU的检测方法。
• 探索融合音频与IMU数据作为新型特征空间，以提升击球检测的准确性。
• 提出一种基于峰值互相关的音频与IMU信号同步方法，实现时间对齐。
• 为未来分析应用（如击球分类、回合分析与性能建议）奠定基础。

提出的方法

• 系统采用10ms微帧与100ms宏帧结构，计算短时能量（STE），并在100Hz频率下推导出音频峰值函数（APF），用于击球可能性估计。
• IMU峰值函数（IPF）基于加速度计与陀螺仪数据在100Hz频率下计算，通过500ms邻域内的局部极大值识别击球候选点。
• 基于互相关的时间同步方法利用峰值函数对齐音频与IMU信号，仅需20秒训练数据，即可实现32ms的平均绝对误差。
• 在候选击球点周围提取五维特征输入集——APF、IPF、径向加速度（a_rad）、切向加速度（a_tan）与径向角速度（ω_rad）。
• 使用50棵树的随机森林分类器对同步后的高维特征数据进行训练，将每个候选点分类为击球或非击球。
• 通过仅保留首个峰值的方式，将连续的击球检测结果合并，避免重复计数。

实验结果

研究问题

• RQ1 在乒乓球等低运动量球拍类运动中，音频与IMU传感器融合是否能提升击球检测的准确性？
• RQ2 尽管采样率与信号特性不同，如何在实时可穿戴系统中有效实现音频与IMU信号的同步？
• RQ3 所提出的音频峰值函数（APF）结合优化滤波器，是否在击球检测中优于传统的能量峰值检测（EPD）方法？
• RQ4 与单独使用任一传感器相比，结合IMU与音频特征在多大程度上提升了检测性能？
• RQ5 所提出的系统是否可扩展以支持可穿戴平台上的高级分析应用，如击球分类与回合分析？

主要发现

• 所提系统在击球检测中实现了95.6%的F1分数，相较于基于单一传感器的方法提升了15%。
• 基于APF的音频检测器采用23-tap训练滤波器，实现80%的F1分数，优于仅使用EPD的方法（42% F1分数），并达到EPD+MBR（C-SVC）方法的性能水平。
• 基于IPF的IMU检测器实现78%的F1分数，优于Srivastava [2]方法在相同数据集上仅55%的F1分数。
• 同步方法仅使用20秒传感器数据，即可实现32ms的平均绝对误差，确保音频与IMU数据流的可靠对齐。
• 所有五项特征（APF、IPF、a_rad、a_tan、ω_rad）与击球类别之间的相关系数均超过0.4，验证了其在分类任务中的相关性。
• 使用50棵树的随机森林分类器在所有测试模型中取得最高F1分数（95.6%），优于SVM-RBF模型（91.5% F1分数）。