[論文レビュー] Deep Learning for Fatigue Estimation on the Basis of Multimodal Human-Machine Interactions

Yuri Gordienko, Sergii Stirenko+4 more|arXiv (Cornell University)|Dec 30, 2017

Context-Aware Activity Recognition Systems参考文献 12被引用数 15

ひとこと要約

本論文では、ウェアラブルセンサーから得られる加速度計、心拍数、ジャイロスコープ、磁気計、およびEEGといったマルチモーダルなデータを統合する深層学習フレームワークを提案している。事後処理されたセンサー・データに統計的および機械学習的手法を適用することで、活動タイプと疲労パターンの分類が向上し、深層ニューラルネットワークが従来のモデルよりも高い正確性を示している。

ABSTRACT

The new method is proposed to monitor the level of current physical load and accumulated fatigue by several objective and subjective characteristics. It was applied to the dataset targeted to estimate the physical load and fatigue by several statistical and machine learning methods. The data from peripheral sensors (accelerometer, GPS, gyroscope, magnetometer) and brain-computing interface (electroencephalography) were collected, integrated, and analyzed by several statistical and machine learning methods (moment analysis, cluster analysis, principal component analysis, etc.). The hypothesis 1 was presented and proved that physical activity can be classified not only by objective parameters, but by subjective parameters also. The hypothesis 2 (experienced physical load and subsequent restoration as fatigue level can be estimated quantitatively and distinctive patterns can be recognized) was presented and some ways to prove it were demonstrated. Several "physical load" and "fatigue" metrics were proposed. The results presented allow to extend application of the machine learning methods for characterization of complex human activity patterns (for example, to estimate their actual physical load and fatigue, and give cautions and advice).

研究の動機と目的

• 客観的（センサーに基づく）および主観的（自己報告）の指標を用いて、リアルタイムの身体的負荷および蓄積された疲労をモニタリングする手法を開発すること。
• 身体活動が客観的パラメータだけでなく、主観的な疲労認識を統合することで分類可能かどうかを調査すること。
• マルチモーダルセンサー・データと機械学習を用いて、身体的負荷および疲労の特徴的なパターンを定量化し、同定すること。
• 疲労推定およびパーソナライズドフィードバックを含む、複雑な人間の行動パターンを特徴付けるための機械学習の応用を拡張すること。
• 古典的統計的手法と比較して、深層学習モデルが疲労推定の正確性をどの程度向上させるかを評価すること。

提案手法

• 本研究では、三軸加速度計、心拍数、および1チャンネルBCI（MindWave Mobile）および16チャンネルBCI（OpenBCI）を用いたEEGを含むウェアラブルセンサーを用いてマルチモーダルな生理的データを収集する。
• 生のセンサー・データは事前処理され、モーメント解析、クラスタリング解析、主成分分析を用いて意味のある活動パターンを抽出する豊富な事後処理済み特徴に変換される。
• 物理的活動および回復段階の分布とダイナミクスをモデル化するために、モーメント解析、クラスタリング解析、ブートストラップ法などの統計的手法が適用される。
• 深層ニューラルネットワーク（DNN）は、事後処理済みのマルチモーダル・データ上で訓練され、活動強度の分類および疲労レベルの予測が行われる。ハイパーパrameterチューニングにより性能最適化が図られる。
• スマートフォン、スマートウォッチ、フィットネストラッカー、およびMyoWare EMGセンサーや他の専用デバイスからのデータを、四肢、頭部、掌など異なる身体部位から統合する。
• 本アプローチは、生のセンサー・データから意味的に豊かで統計的に分析された特徴へのパラダイム転換を強調し、解釈可能性とモデル性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 客観的センサー・データと主観的な疲労報告の両方を用いて、身体活動を効果的に分類できるか？
• RQ2 マルチモーダルセンサー・データを用いて、身体的負荷および疲労の明確なパターンを定量的に同定し、区別できるか？
• RQ3 事後処理済みセンサー・データ上で、深層学習モデルが古典的統計的手法と比較して疲労推定の正確性をどの程度向上させるか？
• RQ4 EEGと末梢生理的信号を統合することで、精神的および身体的疲労の検出がどの程度向上するか？
• RQ5 提案手法が、実世界の応用において過剰訓練や過度の疲労に対するパーソナライズドフィードバックおよび早期警告を支援できるか？

主な発見

• 提案手法は、事後処理済みのマルチモーダルセンサー・データを用いて、受動的、中程度、高強度の身体活動を効果的に区別できた。
• モーメント解析からの心拍変動性および分布パターンにより、生の心拍数値のみを用いる場合よりも、回復状態と負荷強度の区別が明確に可能になった。
• 深層ニューラルネットワークは、従来のモデルよりも疲労推定の正確性が高く、特にパラメータ数が多い場合に顕著に優れた性能を示した（図10bの損失曲線による確認）。
• OpenBCIからのEEGデータ統合は、精神的負荷推定において有望な結果を示したが、1チャンネルのMindWave Mobileデバイスは十分な信頼性がなく、強固な結論には至らなかった。
• 事後処理済み特徴は、活動強度および疲労蓄積の微細な変化を捉える点で、生のセンサー・データを上回る性能を示した。これは、高度な信号事前処理の価値を裏付けるものである。
• 本フレームワークは、行動パターンを意味的活動カテゴリにマッピングすることで、高齢者ケア、障害者支援、パーソナライズドヘルスモニタリングの分野における実世界応用の可能性を示した。