[論文レビュー] MAUS: A Dataset for Mental Workload Assessmenton N-back Task Using Wearable Sensor

Win-Ken Beh, Yi‐Hsuan Wu+2 more|arXiv (Cornell University)|Nov 3, 2021

Human-Automation Interaction and Safety参考文献 32被引用数 9

ひとこと要約

本論文では、Nバックタスク中にウェアラブルセンサーを用いた精神的作業負荷（MW）評価のためのオープンアクセスデータセットMAUSを紹介する。22名の被験者から同期されたECG、指先のPPG、ウエアラブルPBG、GSRを収集し、検証用にNASA-TLXスコアを含む。ベースラインシステムは、SVM分類を用いてECGで71.6%、指先のPPGで66.7%、ウエアラブルPPGで59.9%の正解率を達成し、MW研究における再現可能なベンチマークを提供する。

ABSTRACT

This paper describes an open-access database focusing on the study of mental workload (MW) assessment system for wearable devices. A wristband photoplethysmogram (PPG) was provided as a representative of wearable devices. In addition, a clinical device that can record Electrocardiography (ECG) , galvanic skin response (GSR) and, fingertip PPG was included in the database as a reference. The MW was induced by performing the N-back task with 22 subjects. The participants were asked to answer the Pittsburgh Sleep Quality Index (PSQI) questionnaire at the beginning of the experiment and the NASA Task Load Index (NASA-TLX) questionnaire after each N-back task. The result of data analysis show the potential uses of the recorded modalities and the feasibility of the MW elicitation protocol. Finally the MAUS dataset is now available for academic use (The MAUS dataset is available at IEEE Dataport: https://ieee-dataport.org/open-access/maus-dataset-mental-workload-assessment-n-back-task-using-wearable-sensor). Besides, we also presents a reproducible baseline system as a preliminary benchmark (The code of the baseline system on MAUS dataset is available on Github: https://github.com/rickwu11/MAUS\_dataset\_baseline\_system), which testing accuracy are 71.6 %, 66.7 %, and 59.9 % in ECG, fingertip PPG, wristband PPG, respectively.

研究の動機と目的

• ウェアラブル生理的センサーを用いた精神的作業負荷（MW）評価のためのオープンアクセスで再現可能なデータセットの開発を目的とする。
• 特にウエアラブルPPGと指先のPPGの比較を可能にするために、異なるセンサーモダリティ間でのMW評価手法の公平な比較を可能にする。
• 制御されたMW条件下で、ECG、GSR、指先のPPG、ウエアラブルPPGの同期録音を提供する。
• ウェアラブルデバイスを用いた連続的MWモニタリングのためのアルゴリズムの開発とベンチマーク化を支援する。
• 今後の手法の検証と性能比較を可能にするために、再現可能なベースラインシステムを提供する。

提案手法

• 精神的作業負荷を誘発するために、N=1、2、3のNバックタスクが用いられ、難易度が上昇する。
• 生理的信号は、臨床用デバイス（ECG、GSR、指先のPPG）とウェアラブルPPGウエストバンドを用いて収集された。
• 被験者は各Nバックセッションの前後にピッツバーグ睡眠品質指標（PSQI）を、後にNASA作業負荷指数（NASA-TLX）を実施し、主観的MW評価を実施した。
• SVM分類器は、ECG、PPG、GSR信号から抽出された時域および周波域特徴を用いて学習された。
• 一般化性能と耐性を評価するために、1人を除いた被験者を残す（LOSO）と、混合被験者5分割交差検証の2つの交差検証戦略が用いられた。
• 特徴工学は、ECGおよびPPGからの心拍変動（HRV）に焦点を当て、GSRの振幅および皮膚静脈反応特徴も含めた。

実験結果

リサーチクエスチョン

• RQ1 ウエアラブルPPG信号は、制御されたNバックタスク条件下で精神的作業負荷を信頼性高く評価できるか？
• RQ2 ウエアラブルPPGの性能は、指先のPPGおよびECGと比較してどの程度か？
• RQ3 主観的NASA-TLXスコアは、生理的信号およびNバックタスクの難易度とどの程度相関しているか？
• RQ4 今後のMW評価アルゴリズム間の公平な比較を可能にするために、再現可能なベースラインシステムを確立できるか？
• RQ5 ECG、PPG、GSRを統合するマルチモーダル融合は、精神的作業負荷検出の向上にどの程度可能か？

主な発見

• LOSO検証において、ECGモダリティは71.6%の分類正解率を達成し、最高の性能を示した。F1スコアは71.9%であった。
• 指先のPPGは、LOSOで66.7%の正解率と65.0%のF1スコアを示し、中程度の性能であり、ECGの結果に近づいていた。
• ウエアラブルPPGは、LOSOで59.9%の正解率と58.0%のF1スコアを示し、信号品質の大きな課題があることが示された。
• 混合被験者5分割交差検証では、ECGは高い性能（71.7%の正解率）を維持したが、ウエアラブルPPGは64.8%の正解率に向上した。
• 分散分析（ANOVA）の結果、ECGと指先のPPGの間でHRVトレンドに一貫性が認められたが、ウエアラブルPPGは顕著な差異を示し、異なる信号特性を持つことが示された。
• ECGとウエアラブルPPGの間の顕著な性能差は、MW評価におけるウェアラブルPPGの信号強化技術の必要性を強調している。