[论文解读] GRN-Transformer: Enhancing Motion Artifact Detection in PICU Photoplethysmogram Signals

Thanh-Dung Le, Macabiau, Clara+3 more|arXiv (Cornell University)|Aug 7, 2023

Non-Invasive Vital Sign MonitoringEngineering被引用 3

一句话总结

本文提出GRN-Transformer，一种新颖的深度学习模型，将门控残差网络（GRN）整合至Transformer架构中，以提升儿科重症监护病房（PICU）光电容积脉搏波（PPG）信号中的运动伪影检测性能。通过增强小样本、类别不平衡数据集中的特征提取并缓解过拟合，GRN-Transformer在测试中实现98%准确率、90%精确率、97%召回率和93%F1分数，优于标准Transformer模型，并超越半监督与监督基线模型。

ABSTRACT

This study investigates artifact detection in clinical photoplethysmogram signals using Transformer-based models. Recent findings have shown that in detecting artifacts from the Pediatric Critical Care Unit at CHU Sainte-Justine (CHUSJ), semi-supervised learning label propagation and conventional supervised machine learning (K-nearest neighbors) outperform the Transformer-based attention mechanism, particularly in limited data scenarios. However, these methods exhibit sensitivity to data volume and limited improvement with increased data availability. We propose the GRN-Transformer, an innovative model that integrates the Gated Residual Network (GRN) into the Transformer architecture to overcome these limitations. The GRN-Transformer demonstrates superior performance, achieving remarkable metrics of 98% accuracy, 90% precision, 97% recall, and 93% F1 score, clearly surpassing the Transformer's results of 95% accuracy, 85% precision, 86% recall, and 85% F1 score. By integrating the GRN, which excels at feature extraction, with the Transformer's attention mechanism, the proposed GRN-Transformer overcomes the limitations of previous methods. It achieves smoother training and validation loss, effectively mitigating overfitting and demonstrating enhanced performance in small datasets with imbalanced classes. The GRN-Transformer's potential impact on artifact detection can significantly improve the reliability and accuracy of the clinical decision support system at CHUSJ, ultimately leading to improved patient outcomes and safety. Remarkably, the proposed model stands as the pioneer in its domain, being the first of its kind to detect artifacts from PPG signals. Further research could explore its applicability to other medical domains and datasets with similar constraints.

研究动机与目标

• 为解决标准Transformer在训练数据有限且类别不平衡时，对PPG信号中运动伪影检测性能不佳的问题。
• 提升在临床PPG信号分析中常见的小样本场景下的模型鲁棒性与泛化能力。
• 将门控残差网络（GRN）集成至Transformer架构中，以增强特征学习并减少过拟合。
• 建立用于PPG信号二分类伪影检测的新SOTA模型，尤其适用于数据受限的临床环境。
• 开创一种专为PPG信号伪影检测设计的新型深度学习架构，为未来临床应用奠定基础。

提出的方法

• GRN-Transformer结合了Transformer的自注意力机制与门控残差网络（GRN），以提升特征表示与梯度流动。
• GRN被插入到Transformer编码器模块中多头注意力与前馈网络层之间，以在注意力计算前优化输入表征。
• GRN利用可学习门控机制，选择性地增强或抑制特征，从而提升模型表达能力，并在低数据场景下减少过拟合。
• 模型在来自CHU Sainte-Justine医院的临床PICU数据集上，通过监督学习进行训练，任务为二分类：区分'伪影'与'正常'PPG波形。
• 训练过程中采用数据增强与类别平衡技术，以应对PPG信号数据集中固有的类别不平衡问题。
• 性能通过标准指标进行评估：在不同训练数据比例下，计算准确率、精确率、召回率与F1分数。

实验结果

研究问题

• RQ1 将门控残差网络（GRN）集成至Transformer架构中，是否能提升在数据有限且类别不平衡条件下PPG信号中运动伪影检测的性能？
• RQ2 在低数据条件下，GRN-Transformer与标准Transformer、半监督标签传播方法及KNN相比，在准确率、精确率、召回率与F1分数方面表现如何？
• RQ3 GRN-Transformer是否展现出更平滑的训练与验证损失曲线，表明其具备更好的泛化能力并减少过拟合？
• RQ4 GRN-Transformer是否为首个专为PPG信号伪影检测设计的模型，是否在该领域设立了新基准？
• RQ5 GRN在低数据场景下，对不同神经网络架构（如Transformer、BiLSTM、FCNN）的模型学习能力增强程度如何？

主要发现

• GRN-Transformer在检测PICU PPG信号中的运动伪影时，达到98%准确率、90%精确率、97%召回率与93%F1分数，显著优于标准Transformer（95%准确率、85%精确率、86%召回率、85%F1分数）。
• GRN-Transformer展现出更平滑的训练与验证损失曲线，表明其在低数据场景下过拟合更少，泛化能力更强。
• 即使在标注数据有限的情况下，GRN-Transformer在所有评估指标上均持续优于半监督标签传播与基于KNN的方法。
• GRN的集成显著提升了所有评估模型（尤其是Transformer）在数据稀缺与类别不平衡条件下的性能，证实其在提升模型鲁棒性方面的重要作用。
• GRN-Transformer是首个专为PPG信号伪影检测而设计并经验证的模型，为临床信号处理领域带来全新贡献。
• GRN-FCNN在低数据比例下表现出更高的召回率，而GRN-BiLSTM则实现了具有竞争力的精确率与召回率，表明GRN的集成可有效增强多种神经网络架构的性能。