[论文解读] MAUS: A Dataset for Mental Workload Assessmenton N-back Task Using Wearable Sensor

Win-Ken Beh, Yi‐Hsuan Wu+2 more|arXiv (Cornell University)|Nov 3, 2021

Human-Automation Interaction and Safety参考文献 32被引用 9

一句话总结

本论文介绍了MAUS，一个用于在N-back任务期间使用可穿戴传感器进行心理负荷（MW）评估的开放获取数据集。该数据集包含22名受试者的同步心电图（ECG）、指尖光电容积脉搏波（PPG）、智能手环PPG以及皮肤电活动（GSR）信号，并附有NASA-TLX评分用于验证。基线系统在ECG上达到71.6%的准确率，在指尖PPG上达到66.7%，在智能手环PPG上达到59.9%，采用支持向量机（SVM）分类方法，为心理负荷研究提供了可复现的基准。

ABSTRACT

This paper describes an open-access database focusing on the study of mental workload (MW) assessment system for wearable devices. A wristband photoplethysmogram (PPG) was provided as a representative of wearable devices. In addition, a clinical device that can record Electrocardiography (ECG) , galvanic skin response (GSR) and, fingertip PPG was included in the database as a reference. The MW was induced by performing the N-back task with 22 subjects. The participants were asked to answer the Pittsburgh Sleep Quality Index (PSQI) questionnaire at the beginning of the experiment and the NASA Task Load Index (NASA-TLX) questionnaire after each N-back task. The result of data analysis show the potential uses of the recorded modalities and the feasibility of the MW elicitation protocol. Finally the MAUS dataset is now available for academic use (The MAUS dataset is available at IEEE Dataport: https://ieee-dataport.org/open-access/maus-dataset-mental-workload-assessment-n-back-task-using-wearable-sensor). Besides, we also presents a reproducible baseline system as a preliminary benchmark (The code of the baseline system on MAUS dataset is available on Github: https://github.com/rickwu11/MAUS\_dataset\_baseline\_system), which testing accuracy are 71.6 %, 66.7 %, and 59.9 % in ECG, fingertip PPG, wristband PPG, respectively.

研究动机与目标

• 开发一个用于心理负荷（MW）评估的开放获取、可复现的可穿戴生理传感器数据集。
• 实现不同传感器模态（尤其是智能手环PPG与指尖PPG）之间心理负荷评估方法的公平比较。
• 在受控的心理负荷条件下，提供心电图（ECG）、GSR、指尖PPG和智能手环PPG的同步记录。
• 支持基于可穿戴设备的连续心理负荷监测算法的开发与基准测试。
• 为未来方法的验证与性能比较提供可复现的基线系统。

提出的方法

• 本研究采用N-back任务诱导不同水平的心理负荷，其中N=1、2和3作为难度递增的等级。
• 使用临床设备（ECG、GSR、指尖PPG）和可穿戴PPG智能手环采集生理信号。
• 受试者在每次N-back任务前后分别完成匹兹堡睡眠质量指数量表（PSQI）和美国国家航空航天局任务负荷指数（NASA-TLX），以进行主观心理负荷评估。
• 基于从ECG、PPG和GSR信号中提取的时间域与频域特征，训练支持向量机（SVM）分类器。
• 采用两种交叉验证策略：留一参与者（LOSO）和混合参与者五折交叉验证，以评估模型的泛化能力与鲁棒性。
• 特征工程聚焦于ECG与PPG中的心率变异性（HRV），以及GSR的幅值与皮肤电反应特征。

实验结果

研究问题

• RQ1 在受控的N-back任务条件下，可穿戴智能手环PPG信号能否可靠地评估心理负荷？
• RQ2 在心理负荷分类任务中，智能手环PPG的性能与指尖PPG及ECG相比如何？
• RQ3 主观的NASA-TLX评分在多大程度上与生理信号及N-back任务难度相关？
• RQ4 能否建立一个可复现的基线系统，以实现未来心理负荷评估算法之间的公平比较？
• RQ5 结合ECG、PPG与GSR的多模态融合在提升心理负荷检测性能方面是否可行？

主要发现

• 在留一参与者（LOSO）验证中，ECG模态达到最高的分类准确率71.6%，F1-score为71.9%。
• 指尖PPG在LOSO中达到66.7%的准确率与65.0%的F1-score，表现出中等性能，且接近ECG结果。
• 智能手环PPG在LOSO中表现最差，准确率为59.9%，F1-score为58.0%，表明其信号质量存在显著挑战。
• 在混合参与者五折交叉验证中，ECG保持强劲表现（准确率71.7%），而智能手环PPG准确率提升至64.8%。
• 方差分析（ANOVA）显示，ECG与指尖PPG之间存在一致的心率变异性（HRV）趋势，但智能手环PPG表现出显著差异，提示其具有独特的信号特性。
• ECG与智能手环PPG之间显著的性能差距凸显了在可穿戴PPG用于心理负荷评估时，信号增强技术的必要性。