[论文解读] Transformer Encoder with Multiscale Deep Learning for Pain Classification Using Physiological Signals

Zhenyuan Lu, Burcu Ozek+1 more|PubMed|Mar 13, 2023

Pain Mechanisms and Treatments参考文献 74被引用 5

一句话总结

该论文提出PainAttnNet，一种新颖的基于多尺度卷积神经网络与挤压-激励残差模块的Transformer编码器模型，用于基于皮肤电活动（EDA）信号的自动化疼痛强度分类。该模型在区分无痛与几乎无法忍受的疼痛任务中实现了85.34%的准确率，展现出优越的时间特征学习能力与在区分关键疼痛水平时的鲁棒性。

ABSTRACT

Pain, a pervasive global health concern, affects a large segment of population worldwide. Accurate pain assessment remains a challenge due to the limitations of conventional self-report scales, which often yield inconsistent results and are susceptible to bias. Recognizing this gap, our study introduces PainAttnNet, a novel deep-learning model designed for precise pain intensity classification using physiological signals. We investigate whether PainAttnNet would outperform existing models in capturing temporal dependencies. The model integrates multiscale convolutional networks, squeeze-and-excitation residual networks, and a transformer encoder block. This integration is pivotal for extracting robust features across multiple time windows, emphasizing feature interdependencies, and enhancing temporal dependency analysis. Evaluation of PainAttnNet on the BioVid heat pain dataset confirm the model's superior performance over the existing models. The results establish PainAttnNet as a promising tool for automating and refining pain assessments. Our research not only introduces a novel computational approach but also sets the stage for more individualized and accurate pain assessment and management in the future.

研究动机与目标

• 开发一种客观、自动化的疼痛强度分类方法，利用生理信号克服主观自评量表的局限性。
• 解决在自评不可靠的人群（如婴儿或认知功能受损个体）中对细微与重度疼痛水平进行分类的挑战。
• 通过可穿戴EDA传感器与深度学习技术，实现精确、实时的疼痛严重程度评估，以改善临床疼痛管理。
• 将多尺度时间特征提取与自注意力机制相结合，提升基于EDA的疼痛分类中的表征学习能力。

提出的方法

• 该模型采用多尺度卷积网络（MSCN）从EDA信号中提取短时窗与长时窗的时间特征。
• 使用挤压-激励残差网络（SEResNet）通过建模通道间依赖关系来重新校准特征图，突出相关生理模式。
• 采用包含三个时间卷积网络（TCN）与三个多头注意力（MHA）层的Transformer编码器，捕捉提取特征中的长程时间依赖关系。
• 该架构结合MSCN与SEResNet的分层特征学习能力，以及自注意力机制，以建模时间序列EDA数据中的动态关系。
• 模型在BioVid数据集上端到端训练，采用交叉熵损失函数，并通过AdamW优化器与学习率调度进行参数优化。
• 该框架支持多种分类任务，包括二分类（无痛 vs. 任何疼痛）与多级疼痛强度分类。

实验结果

研究问题

• RQ1 结合多尺度卷积、注意力机制与残差学习的混合深度学习架构，是否能提升基于EDA的疼痛强度分类准确率？
• RQ2 与当前最先进模型相比，所提出的PainAttnNet模型在区分无痛与重度疼痛（如几乎无法忍受的疼痛）方面表现如何？
• RQ3 时间卷积网络与多头注意力机制的整合，在多大程度上增强了对EDA信号中序列依赖关系的建模能力？
• RQ4 该模型在不同疼痛强度等级下是否保持高性能，特别是在临床关键区分点（如无痛 vs. 高度或重度疼痛）上？

主要发现

• PainAttnNet在最具挑战性的任务——区分无痛与几乎无法忍受疼痛（T₀ vs. T₄）中，取得了85.34%的准确率、85.27%的宏平均F1分数与0.70的Cohen Kappa系数。
• 该模型在BioVid数据集上优于所有现有最先进方法，尤其在区分无痛与高/重度疼痛水平方面表现突出。
• 在区分无痛与任何疼痛的二分类任务（T₀ vs. T₁–T₄）中，模型准确率达到80.87%，但性能较低（Cohen Kappa = 0.09），表明在一般二分类分离任务中仍存在挑战。
• 在区分无痛与中等疼痛的任务中（T₀ vs. T₂），PainAttnNet取得了68.82%的准确率，略高于最佳现有方法（68.39%）。
• 该模型在多分类疼痛强度分类任务中表现优异，尤其在区分细微但具有临床意义的疼痛水平方面优势明显。
• 组件模块的消融实验表明，MSCN、SEResNet与基于Transformer的注意力机制的整合显著提升了特征表征能力与分类准确率。