[论文解读] Identification of Cognitive Workload during Surgical Tasks with Multimodal Deep Learning

Kaizhe Jin, Adrian Rubio-Solis+9 more|arXiv (Cornell University)|Sep 12, 2022

Cardiac, Anesthesia and Surgical Outcomes被引用 4

一句话总结

本研究提出了一种两阶段多模态深度学习框架，融合EEG、fNIRS和瞳孔直径信号，以识别腹腔镜手术期间的认知工作量（CWL）。通过使用微调后的AlexNet进行迁移学习以检测CWL，并采用1D-CNN对任务类型进行分类，该模型在模拟手术室环境中实现了93%的精确度，成功识别出与高心理工作量相关的外科手术任务状态，展现出高精度与低计算成本的特点。

ABSTRACT

The operating room (OR) is a dynamic and complex environment consisting of a multidisciplinary team working together in a high take environment to provide safe and efficient patient care. Additionally, surgeons are frequently exposed to multiple psycho-organisational stressors that may cause negative repercussions on their immediate technical performance and long-term health. Many factors can therefore contribute to increasing the Cognitive Workload (CWL) such as temporal pressures, unfamiliar anatomy or distractions in the OR. In this paper, a cascade of two machine learning approaches is suggested for the multimodal recognition of CWL in four different surgical task conditions. Firstly, a model based on the concept of transfer learning is used to identify if a surgeon is experiencing any CWL. Secondly, a Convolutional Neural Network (CNN) uses this information to identify different degrees of CWL associated to each surgical task. The suggested multimodal approach considers adjacent signals from electroencephalogram (EEG), functional near-infrared spectroscopy (fNIRS) and eye pupil diameter. The concatenation of signals allows complex correlations in terms of time (temporal) and channel location (spatial). Data collection was performed by a Multi-sensing AI Environment for Surgical Task & Role Optimisation platform (MAESTRO) developed at the Hamlyn Centre, Imperial College London. To compare the performance of the proposed methodology, a number of state-of-art machine learning techniques have been implemented. The tests show that the proposed model has a precision of 93%.

研究动机与目标

• 为解决在高风险外科手术中实时识别认知工作量（CWL）的挑战，因为心理过载可能影响手术表现。
• 开发一种非侵入性、多模态的生理监测系统，以捕捉手术期间大脑与自主神经活动的动态变化。
• 通过自动化的数据驱动方法检测认知过载的早期迹象，从而提升外科团队的安全性与表现。
• 验证一种深度学习流程，整合多个神经生理信号（EEG、fNIRS、瞳孔大小）之间的时空相关性，以实现精确的CWL分类。
• 建立一种可扩展、计算成本低的框架，用于临床环境中实时认知工作量监测。

提出的方法

• 采用两阶段机器学习流程：首先，利用微调后的AlexNet模型对转换为语谱图的头皮信号数据进行处理，以检测认知工作量的存在。
• 第二阶段使用1D-CNN，基于EEG、fNIRS和瞳孔直径的1D生理信号拼接结果，对特定的外科手术任务类型（四种条件）进行分类。
• 生理数据通过MAESTRO平台采集，该平台是帝国理工学院哈姆林中心开发的多传感器人工智能系统，用于捕捉模拟腹腔镜 peg 传递任务期间的信号。
• 信号预处理包括将信号转换为语谱图以供第一阶段的视觉输入，以及将信号编码为1D向量以供第二阶段使用，从而实现时空相关性的建模。
• 使用Adam优化器训练AlexNet模型的最后1层，而1D-CNN则在多模态信号序列上端到端进行训练。
• 该框架利用EEG（时间分辨率）、fNIRS（血流动力应答）和瞳孔直径（自主神经兴奋）之间的互补性，增强工作量检测的鲁棒性。

实验结果

研究问题

• RQ1 多模态深度学习方法能否利用EEG、fNIRS和瞳孔直径信号，在腹腔镜外科手术中准确检测认知工作量？
• RQ2 在预训练AlexNet上使用迁移学习是否能提升在手术环境中检测认知工作量存在的性能？
• RQ3 1D-CNN能否有效基于融合的生理信号对不同外科手术任务条件进行分类，以反映不同的心理负荷水平？
• RQ4 fNIRS测得的血红蛋白氧合（HbO2）和脱氧血红蛋白（HbR）响应如何与主观工作量评分及任务条件相关联？
• RQ5 听觉干扰和认知负荷任务在多大程度上调节新手外科医生的生理标记物，以反映认知工作量的变化？

主要发现

• 所提出的两阶段深度学习模型在使用微调后的AlexNet进行迁移学习时，检测认知工作量存在性的准确率达到100%。
• 第二阶段的1D-CNN模型在识别与高阶认知工作量相关的特定外科手术任务条件方面，整体分类准确率达到93%。
• fNIRS数据显示，在任务2和任务4（涉及听觉干扰和认知负荷）期间，HbO2和HbR水平显著升高，表明前额叶皮层激活增强。
• 主观工作量评分（SURG-TLX）证实，在任务2和任务4期间心理负荷明显增加，与客观生理变化一致。
• EEG、fNIRS和瞳孔直径信号的结合实现了对工作量变化的稳健检测，优于单模态方法，能够捕捉复杂的时空相关性。
• 该框架表现出低计算成本与高精度，支持其在手术室中实时部署的潜力。