[论文解读] Assessing Fatigue with Multimodal Wearable Sensors and Machine Learning

Ashish Jaiswal, Mohammad Zaki Zadeh+2 more|arXiv (Cornell University)|Apr 30, 2022

Sleep and Work-Related Fatigue被引用 6

一句话总结

本研究提出了一种多模态可穿戴传感器系统，集成心电图（ECG）、皮肤电活动（EDA）、肌电图（EMG）和脑电图（EEG）传感器，利用机器学习客观评估认知疲劳和身体疲劳。基于原始信号使用LSTM模型进行认知疲劳检测，准确率达到84.1%，召回率达到0.90，优于现有最先进方法。

ABSTRACT

Fatigue is a loss in cognitive or physical performance due to physiological factors such as insufficient sleep, long work hours, stress, and physical exertion. It adversely affects the human body and can slow reaction times, reduce attention, and limit short-term memory. Hence, there is a need to monitor a person's state to avoid extreme fatigue conditions that can result in physiological complications. However, tools to understand and assess fatigue are minimal. This paper primarily focuses on building an experimental setup that induces cognitive fatigue (CF) and physical fatigue (PF) through multiple cognitive and physical tasks while simultaneously recording physiological data. First, we built a prototype sensor suit embedded with numerous physiological sensors for easy use during data collection. Second, participants' self-reported visual analog scores (VAS) are reported after each task to confirm fatigue induction. Finally, an evaluation system is built that utilizes machine learning (ML) models to detect states of CF and PF from sensor data, thus providing an objective measure. Our methods beat state-of-the-art approaches, where Random Forest performs the best in detecting PF with an accuracy of 80.5% while correctly predicting the true PF condition 88% of the time. On the other hand, the long short-term memory (LSTM) recurrent neural network produces the best results in detecting CF in the subjects (with 84.1% accuracy, 0.9 recall).

研究动机与目标

• 开发一种受控实验设置，通过标准化任务同时诱发认知疲劳和身体疲劳。
• 在疲劳诱导过程中，从32名健康受试者中收集多模态生理数据（ECG、EDA、EMG、EEG）。
• 通过每次任务后自评的视觉模拟量表（VAS）评分验证疲劳状态。
• 基于生理特征训练机器学习模型，客观分类认知疲劳和身体疲劳状态。
• 比较不同机器学习模型及传感器组合在疲劳检测中的性能表现。

提出的方法

• 使用集成了ECG、EDA、EMG和EEG传感器的原型传感背心，在疲劳诱导任务期间实时采集生理信号。
• 受试者分别完成N-Back认知任务和基于跑步机的体力任务，以分别诱发认知疲劳和身体疲劳。
• 每次任务后收集自评VAS评分，用于验证疲劳的诱发效果。
• 采用时域和频域技术，从每种生理信号模态中提取统计特征。
• 在特征工程处理后的数据和不同窗口大小的原始时序信号上，训练包括随机森林和LSTM在内的多种机器学习模型。
• 应用主成分分析（PCA）将特征维度降低至189维，以获得最佳模型性能。

实验结果

研究问题

• RQ1 受控实验设置能否有效在健康受试者中诱发认知疲劳和身体疲劳？
• RQ2 不同生理传感器组合（ECG、EDA、EMG、EEG）在疲劳检测中的贡献如何？
• RQ3 哪种机器学习模型在基于生理信号检测认知疲劳方面表现最佳？
• RQ4 哪种机器学习模型在基于生理信号检测身体疲劳方面表现最佳？
• RQ5 原始生理信号能否与LSTM等深度学习模型有效结合，从而无需人工特征工程？

主要发现

• 基于VAS评分，实验设置成功在超过80%的受试者中诱发了认知疲劳，在超过90%的受试者中诱发了身体疲劳。
• 当使用原始信号并基于全部四种传感器模态训练时，LSTM模型在认知疲劳检测中达到最高准确率84.1%和召回率0.90。
• 随机森林在身体疲劳检测中表现最佳，准确率达到80.5%，召回率为0.88，优于其他模型及现有最先进方法。
• 10秒窗口大小被确定为特征模型的最优选择，而LSTM模型在使用完整信号块时表现最佳。
• 结合全部四种传感器模态，并使用原始信号与LSTM模型，无需进行大量特征工程，即可在认知疲劳检测中取得更优结果。
• 所提出方法优于现有最先进方法，尤其在召回率方面表现更优，显著降低关键疲劳检测中的假阴性率。