[論文レビュー] Assessing Fatigue with Multimodal Wearable Sensors and Machine Learning

Ashish Jaiswal, Mohammad Zaki Zadeh+2 more|arXiv (Cornell University)|Apr 30, 2022

Sleep and Work-Related Fatigue被引用数 6

ひとこと要約

本研究では、機械学習を用いて認知的および身体的疲労を客観的に評価するため、ECG、EDA、EMG、EEGを統合したマルチモーダルウェアラブルセンサーシステムを提示する。LSTMモデルを用いて生信号を処理することで、認知的疲労検出に84.1%の正確性と0.90の再現率を達成し、最先端の手法を上回る性能を示した。

ABSTRACT

Fatigue is a loss in cognitive or physical performance due to physiological factors such as insufficient sleep, long work hours, stress, and physical exertion. It adversely affects the human body and can slow reaction times, reduce attention, and limit short-term memory. Hence, there is a need to monitor a person's state to avoid extreme fatigue conditions that can result in physiological complications. However, tools to understand and assess fatigue are minimal. This paper primarily focuses on building an experimental setup that induces cognitive fatigue (CF) and physical fatigue (PF) through multiple cognitive and physical tasks while simultaneously recording physiological data. First, we built a prototype sensor suit embedded with numerous physiological sensors for easy use during data collection. Second, participants' self-reported visual analog scores (VAS) are reported after each task to confirm fatigue induction. Finally, an evaluation system is built that utilizes machine learning (ML) models to detect states of CF and PF from sensor data, thus providing an objective measure. Our methods beat state-of-the-art approaches, where Random Forest performs the best in detecting PF with an accuracy of 80.5% while correctly predicting the true PF condition 88% of the time. On the other hand, the long short-term memory (LSTM) recurrent neural network produces the best results in detecting CF in the subjects (with 84.1% accuracy, 0.9 recall).

研究の動機と目的

• 標準化されたタスクを用いて認知的および身体的疲労を誘発する制御された実験的設定を開発すること。
• 疲労誘発タスク中に32名の健常者からECG、EDA、EMG、EEGのマルチモーダル生理的データを収集すること。
• 各タスク終了後に自己報告による視覚的アナログスケール（VAS）スコアを用いて疲労状態を検証すること。
• 生理的特徴を用いて機械学習モデルを訓練し、認知的および身体的疲労状態を客観的に分類すること。
• さまざまな機械学習モデルおよびセンサーコンビネーションの疲労検出性能を比較すること。

提案手法

• ECG、EDA、EMG、EEGセンサーを内蔵したプロトタイプのセンサースーツを用いて、疲労誘発タスク中に生の生理的信号をリアルタイムで収集した。
• 参加者はNバック認知的タスクとトレッドミルを用いた身体的タスクを実施し、それぞれ認知的および身体的疲労を誘発した。
• 各タスク終了後に自己報告によるVASスコアを収集し、疲労の誘発を検証した。
• 時間領域および周波数領域の手法を用いて、各生理的信号モalityから統計的特徴を抽出した。
• ランダムフォレストやLSTMを含む機械学習モデルを、特徴工学を施したデータおよび異なるウィンドウサイズの生時系列信号上で訓練した。
• 最適なモデル性能を得るために、主成分分析（PCA）を用いて特徴次元を189に削減した。

実験結果

リサーチクエスチョン

• RQ1 制御された実験的設定は、健常者に認知的および身体的疲労を効果的に誘発できるか？
• RQ2 ECG、EDA、EMG、EEGの異なる生理的センサーコンビネーションは、疲労検出の正確性にどのように寄与するか？
• RQ3 どの機械学習モデルが生理的信号から認知的疲労を検出する際に最も優れた性能を示すか？
• RQ4 どの機械学習モデルが生理的信号から身体的疲労を検出する際に最も優れた性能を示すか？
• RQ5 LSTMのようなディープラーニングモデルと組み合わせて、生の生理的信号を効果的に使用することで、手動による特徴工学の必要性を排除できるか？

主な発見

• 実験的設定は、VASスコアに基づき、80%以上の参加者に認知的疲労を、90%以上の参加者に身体的疲労を効果的に誘発した。
• LSTMモデルは、生信号を用いて全4モダリティのセンサーを統合して訓練した場合、認知的疲労検出で最高の正確性84.1%と再現率0.90を達成した。
• ランダムフォレストは、身体的疲労検出で80.5%の正確性と0.88の再現率を示し、他のモデルおよび最先端のアプローチを上回った。
• 特徴ベースのモデルでは10秒のウィンドウサイズが最適であったが、LSTMモデルは全信号ブロックを用いた場合に最も優れた性能を示した。
• 全4モダリティのセンサーを組み合わせ、LSTMと生信号を用いることで、広範な特徴工学の必要性がなくなり、認知的疲労検出において優れた結果が得られた。
• 提案手法は、特に再現率の面で既存の最先端手法を上回り、重要な疲労検出における偽陰性を最小限に抑えることができた。