[论文解读] An automated approach for task evaluation using EEG signals

Vishal Anand, S. R. Sreeja+1 more|arXiv (Cornell University)|Nov 7, 2019

EEG and Brain-Computer Interfaces参考文献 22被引用 4

一句话总结

本文提出了一种基于EEG信号在任务执行过程中估算心理负荷的自动化方法，以评估任务复杂性。通过提取和优化EEG特征，应用特征选择进行降维，并采用监督式机器学习，该方法在分类准确率方面优于传统方法，证明了机器学习在心理负荷估算中的有效性。

ABSTRACT

Critical task and cognition-based environments, such as in military and defense operations, aviation user-technology interaction evaluation on UI, understanding intuitiveness of a hardware model or software toolkit, etc. require an assessment of how much a particular task is generating mental workload on a user. This is necessary for understanding how those tasks, operations, and activities can be improvised and made better suited for the users so that they reduce the mental workload on the individual and the operators can use them with ease and less difficulty. However, a particular task can be gauged by a user as simple while for others it may be difficult. Understanding the complexity of a particular task can only be done on user level and we propose to do this by understanding the mental workload (MWL) generated on an operator while performing a task which requires processing a lot of information to get the task done. In this work, we have proposed an experimental setup which replicates modern day workload on doing regular day job tasks. We propose an approach to automatically evaluate the task complexity perceived by an individual by using electroencephalogram (EEG) data of a user during operation. Few crucial steps that are addressed in this work include extraction and optimization of different features and selection of relevant features for dimensionality reduction and using supervised machine learning techniques. In addition to this, performance results of the classifiers are compared using all features and also using only the selected features. From the results, it can be inferred that machine learning algorithms perform better as compared to traditional approaches for mental workload estimation.

研究动机与目标

• 开发一种基于个体任务执行期间心理负荷的自动化系统，以评估任务复杂性。
• 通过在真实世界任务模拟中测量EEG信号，解决任务感知的变异性。
• 通过优化特征提取和机器学习，提高负荷估算的准确性。
• 比较使用完整特征集与选择特征集的机器学习模型在心理负荷分类中的性能。
• 为高风险领域的人机交互提供可扩展、用户特定的评估框架。

提出的方法

• 设计了一种实验设置，通过日常任务情景模拟真实世界认知工作负荷。
• 在参与者执行需要不同信息处理水平的任务时，采集其EEG信号。
• 应用多种特征提取技术，从EEG数据中提取时域、频域和时频域特征。
• 使用统计和相关性方法进行特征优化与选择，以降低维度并保留相关信息。
• 在完整特征集和选择特征集上训练监督式机器学习分类器（如SVM、随机森林、XGBoost）。
• 使用分类准确率、F1-score和ROC曲线下面积评估性能，以比较模型表现。

实验结果

研究问题

• RQ1 基于EEG的心理负荷估算能否准确反映个体对任务复杂性的感知？
• RQ2 不同的特征提取与选择方法如何影响负荷估算中的分类性能？
• RQ3 机器学习模型是否在从EEG信号分类心理负荷方面优于传统方法？
• RQ4 在负荷分类中，所选特征与完整特征集的相对贡献是什么？
• RQ5 自动化系统能否利用实时EEG数据可靠地评估任务复杂性？

主要发现

• 机器学习模型在从EEG信号估算心理负荷方面显著优于传统分类方法。
• 特征选择通过减少噪声和无关特征，提升了模型泛化能力。
• 使用XGBoost与选择特征的模型达到最高分类准确率，优于使用完整特征集训练的模型。
• 本研究证明，基于EEG的心理负荷估算在自动化任务评估中是可行且有效的。
• 所提出的流程可实现实时、个性化的认知密集环境中的任务复杂性评估。
• 结果验证了EEG与机器学习作为可靠、自动化工具在国防、航空和人机交互中评估任务负荷的适用性。