[论文解读] Clinical translation of machine learning algorithms for seizure detection in scalp electroencephalography: systematic review

Nina Moutonnet, Steven K White+6 more|arXiv (Cornell University)|Apr 8, 2024

EEG and Brain-Computer Interfaces被引用 4

一句话总结

本篇系统性综述评估了用于头皮脑电图（scalp EEG）癫痫发作检测的机器学习算法，识别出临床转化中的关键障碍，如泛化能力差、计算成本高以及可解释性不足。研究提出了最佳实践方法，例如采用留一患者交叉验证、合理的数据划分方式，以及使用3–5秒的片段和全导联输入，以提高实际应用中的适用性，传统机器学习方法实现94.3%的准确率，深度学习方法实现91.8%的准确率。

ABSTRACT

Machine learning algorithms for seizure detection have shown considerable diagnostic potential, with recent reported accuracies reaching 100%. Yet, only few published algorithms have fully addressed the requirements for successful clinical translation. This is, for example, because the properties of training data may limit the generalisability of algorithms, algorithm performance may vary depending on which electroencephalogram (EEG) acquisition hardware was used, or run-time processing costs may be prohibitive to real-time clinical use cases. To address these issues in a critical manner, we systematically review machine learning algorithms for seizure detection with a focus on clinical translatability, assessed by criteria including generalisability, run-time costs, explainability, and clinically-relevant performance metrics. For non-specialists, the domain-specific knowledge necessary to contextualise model development and evaluation is provided. It is our hope that such critical evaluation of machine learning algorithms with respect to their potential real-world effectiveness can help accelerate clinical translation and identify gaps in the current seizure detection literature.

研究动机与目标

• 评估用于头皮脑电图癫痫发作检测的机器学习算法在临床转化中的可行性。
• 识别限制其在真实世界中部署的关键挑战，包括数据泛化能力、计算成本和模型可解释性。
• 为临床脑电图应用中的算法设计与评估提供基于证据的改进建议。

提出的方法

• 对2019至2023年间在Scopus、PubMed和Web of Science数据库中检索到的4,515篇文献进行系统性文献综述，筛选出非侵入性头皮脑电图及人体研究。
• 基于泛化能力、运行时效率、可解释性及性能（使用敏感性、特异性及F1值等指标）对算法进行评估。
• 建议采用留一患者交叉验证以模拟真实世界部署并避免数据泄露。
• 提倡使用陷波滤波器和带通滤波器（0.3–60 Hz）进行预处理，并使用所有可用的脑电图导联以保留诊断信息。
• 建议模型开发应根据临床应用场景量身定制，并对特征选择、网络架构及验证策略提供透明的合理性说明。
• 强调应正确划分数据以尊重统计独立性，防止过拟合，尤其在数据不平衡的情况下。

Figure 1: Potential use cases, challenges and recording modality for automated scalp EEG seizure detection [ 9 ] . Applications for seizure detection algorithms range widely, from (1) highlighting to clinicians sections of interest in long recordings to facilitate annotation offline; (2) real-time s

实验结果

研究问题

• RQ1 基于头皮脑电图的癫痫发作检测中，机器学习算法临床转化的主要障碍是什么？
• RQ2 数据复杂性、标注差异及硬件变异性如何影响算法的泛化能力和性能？
• RQ3 哪些方法论上的最佳实践可提升癫痫发作检测模型在真实世界中的有效性和可靠性？
• RQ4 不同模型架构（如传统机器学习与深度学习）在准确率和计算成本方面如何比较？
• RQ5 哪种评估策略最能准确反映模型在多样化患者群体中的临床表现和泛化能力？

主要发现

• 传统机器学习模型的平均检测准确率为94.3%（95%置信区间：94.3 ± 2.3），优于深度学习模型的91.8%准确率（95%置信区间：91.8 ± 2.3）。
• 在采样率高于170 Hz时，3–5秒的片段长度在平稳性与信息量之间提供了最佳平衡，适用于癫痫发作检测。
• 留一患者交叉验证被确定为评估真实世界泛化能力并减少过拟合的最有效验证策略。
• 使用所有可用的脑电图导联可显著提升检测性能，因为任何导联子集均无法在所有患者中可靠捕捉所有类型的癫痫发作。
• 正确的数据划分——即在划分后进行数据增强和特征选择——对于维持统计独立性并避免性能估计偏差至关重要。
• 本研究突显了可解释性与临床相关性之间的关键差距，许多算法未能在临床相关语境下报告敏感性与特异性等关键指标。

Figure 2: 10-20 electrode placement system with front-back (nasion to inion) 10% and 20% electrode distances. The number of electrodes used for EEG recording varies. The spatial resolution of scalp EEG setups can range from 14 channels (low resolution) to 256 channels (high resolution). According to