[論文レビュー] Personalized Driver Stress Detection with Multi-task Neural Networks using Physiological Signals

Aaqib Saeed, Stojan Trajanovski|arXiv (Cornell University)|Nov 15, 2017

Emotion and Mood Recognition参考文献 14被引用数 13

ひとこと要約

本稿では、手首に装着する生理的信号（皮膚電気反応と心拍数）を用いた、個人に合わせたドライバーのストレス検出のための、ハードパラメータ共有を採用したマルチタスクニューラルネットワークを提案する。この手法は、実世界のドライブデータにおいてFスコア0.965、カッパ0.879を達成し、グローバルモデルと比較して個人間の一般化性能が優れていることを示している。

ABSTRACT

Stress can be seen as a physiological response to everyday emotional, mental and physical challenges. A long-term exposure to stressful situations can have negative health consequences, such as increased risk of cardiovascular diseases and immune system disorder. Therefore, a timely stress detection can lead to systems for better management and prevention in future circumstances. In this paper, we suggest a multi-task learning based neural network approach (with hard parameter sharing of mutual representation and task-specific layers) for personalized stress recognition using skin conductance and heart rate from wearable devices. The proposed method is tested on multi-modal physiological responses collected during real-world and simulator driving tasks.

研究の動機と目的

• ドライブ中の生理的ストレス反応における個体差の問題に対処すること。
• 皮膚電気反応と心拍数という、ウェアラブルで非侵襲的なセンサーのみを用いて、個人に合わせたストレス検出システムを開発すること。
• 被験者を個別のタスクとして扱うマルチタスク学習を用いることで、ドライバー間でのモデル一般化性能を向上させること。
• 実世界およびシミュレートドライブ環境の両方で、手法の頑健性と実世界応用可能性を評価すること。

提案手法

• マルチタスクニューラルネットワークアーキテクチャを用い、共有層が全ドライバーに共通する表現を学習し、タスク固有（被験者固有）の層が個々の差に適応する。
• 共有ブランチと被験者固有ブランチ間でハードパラメータ共有を適用し、知識の転送を可能にしつつも、個人化を維持する。
• ウェアラブルデバイスから収集したマルチモodalな生理的信号（皮膚電気反応と心拍数）を、エンドツーエンドでモデルに学習させる。
• データ前処理にはアーチファクト除去、15.5 Hzへの信号ダウンサンプリング、マーカー信号を用いた明確でないセグメントの除外が含まれ、正解ラベルの定義に使用する。
• ハイパーパramータチューニングと評価のため、被験者単位の80/20データ分割に加え、5-foldクロスバリデーションを実施する。
• ベースラインモデルにはロジスティック回帰、SVM（線形およびRBF）、および単一タスクニューラルネットワーク（ST-NN）を含め、比較評価に用いる。

実験結果

リサーチクエスチョン

• RQ1 被験者をタスクとして扱うマルチタスク学習アプローチは、グローバルモデルと比較して、個人に合わせたストレス検出を改善できるか？
• RQ2 提案手法の性能は、実世界とシミュレートドライブ環境の両方でどのように変化するか？
• RQ3 皮膚電気反応と心拍数の信号のみで、多様なドライバーに対して正確なストレス検出が可能か？
• RQ4 被験者固有の層を用いることで、共有モデルと比較して、被験者間での性能ばらつきが減少するか？
• RQ5 異なるデータ収集環境からの混合データで学習した場合、モデルは効果的に一般化できるか？

主な発見

• MIT Driver Stressデータセットでは、マルチタスクニューラルネットワーク（MT-NN）がFスコア0.965 ± 0.023、カッパ0.879 ± 0.080を達成し、すべてのベースラインを上回った。
• MT-NNは被験者間での性能の標準偏差が低く抑えられており、標準分類器と比較して、より高い頑健性と一貫性を示した。
• シミュレータドライブデータセットでは、MT-NNがFスコア0.922 ± 0.137、カッパ0.891 ± 0.184を達成し、次に良い性能を示したモデル（ST-NN）のFスコア0.801 ± 0.243を顕著に上回った。
• 本手法は、実世界およびシミュレートドライブ環境の両方で一貫した性能を示し、環境間での一般化可能性を示唆している。
• 結果から、個体差を扱うには、マルチタスク学習による個人化モデリングが不可欠であることが示された。
• 本研究は、信頼性の高い非侵襲的信号（皮膚電気反応と心拍数）が、被験者に合わせた学習と組み合わせることで、高精度なストレス検出に十分であることを確認した。