[论文解读] Deep Learning for Fatigue Estimation on the Basis of Multimodal Human-Machine Interactions

Yuri Gordienko, Sergii Stirenko+4 more|arXiv (Cornell University)|Dec 30, 2017

Context-Aware Activity Recognition Systems参考文献 12被引用 15

一句话总结

本文提出了一种深度学习框架，通过融合可穿戴传感器获取的多模态数据（加速度计、心率、陀螺仪、磁力计和脑电图（EEG））来估计身体负荷和疲劳水平。通过对后处理的传感器数据应用统计和机器学习技术，该方法在活动类型分类和疲劳模式识别方面表现更优，其中深度神经网络相较于传统模型展现出更高的准确性。

ABSTRACT

The new method is proposed to monitor the level of current physical load and accumulated fatigue by several objective and subjective characteristics. It was applied to the dataset targeted to estimate the physical load and fatigue by several statistical and machine learning methods. The data from peripheral sensors (accelerometer, GPS, gyroscope, magnetometer) and brain-computing interface (electroencephalography) were collected, integrated, and analyzed by several statistical and machine learning methods (moment analysis, cluster analysis, principal component analysis, etc.). The hypothesis 1 was presented and proved that physical activity can be classified not only by objective parameters, but by subjective parameters also. The hypothesis 2 (experienced physical load and subsequent restoration as fatigue level can be estimated quantitatively and distinctive patterns can be recognized) was presented and some ways to prove it were demonstrated. Several "physical load" and "fatigue" metrics were proposed. The results presented allow to extend application of the machine learning methods for characterization of complex human activity patterns (for example, to estimate their actual physical load and fatigue, and give cautions and advice).

研究动机与目标

• 开发一种结合客观（基于传感器）和主观（自我报告）指标的实时身体负荷与累积疲劳监测方法。
• 探究是否不仅能通过客观参数，还能通过整合主观疲劳感知来对体力活动进行分类。
• 利用多模态传感器数据和机器学习技术，量化并识别身体负荷与疲劳的显著模式。
• 拓展机器学习在表征复杂人类活动模式（包括疲劳估计和个性化反馈）中的应用。
• 评估深度学习模型相较于经典统计方法，在提升疲劳估计准确性方面的潜力。

提出的方法

• 本研究通过可穿戴传感器采集多模态生理数据，包括三轴加速度计、心率，以及通过单通道脑机接口（MindWave Mobile）和16通道脑机接口（OpenBCI）获取的脑电图（EEG）数据，以提升精度。
• 原始传感器数据经过预处理，并通过矩分析、聚类分析和主成分分析转换为丰富的后处理特征，以提取有意义的活动模式。
• 应用统计方法如矩分析、聚类分析和自助法（bootstrapping），以建模体力活动和恢复阶段的分布与动态特性。
• 在后处理的多模态数据上训练深度神经网络（DNNs），以分类活动强度并预测疲劳水平，通过超参数调优优化性能。
• 该框架整合了来自多种来源的数据——智能手机、智能手表、健身追踪器以及MyoWare肌电（EMG）传感器等专用设备——覆盖不同身体部位（四肢、头部、手掌）。
• 该方法强调从原始传感器数据向语义丰富、经过统计分析的特征范式转变，以提升可解释性与模型性能。

实验结果

研究问题

• RQ1 能否有效结合客观传感器数据与主观疲劳报告对体力活动进行分类？
• RQ2 能否利用多模态传感器数据定量识别并区分身体负荷与疲劳的特定模式？
• RQ3 与经典统计方法相比，深度学习模型在后处理传感器数据上对疲劳估计准确性的提升程度如何？
• RQ4 EEG与外周生理信号的整合在提升对心理与身体疲劳检测方面发挥何种作用？
• RQ5 所提出的方法能否在实际应用中支持个性化反馈和过度训练或过度疲劳的早期预警？

主要发现

• 所提出的方法成功利用后处理的多模态传感器数据，区分了静息、中等强度和高强度体力活动。
• 心率变异性及矩分析得出的分布模式，相较于仅使用原始心率值，能更有效地区分恢复状态与负荷强度。
• 深度神经网络在疲劳估计方面优于传统模型，尤其在参数量较大时，如图10b所示的损失曲线所示。
• OpenBCI获取的EEG数据在心理负荷估计方面表现出潜力，但单通道的MindWave Mobile设备因可靠性不足，难以得出稳健结论。
• 后处理特征在捕捉活动强度与疲劳累积的细微变化方面优于原始传感器数据，支持先进信号预处理的价值。
• 该框架在老年护理、残疾支持及个性化健康监测等实际应用中展现出潜力，可通过将行为模式映射至语义活动类别实现。