[论文解读] Do Not Sleep on Traditional Machine Learning: Simple and Interpretable Techniques Are Competitive to Deep Learning for Sleep Scoring

Jeroen Van Der Donckt, Jonas Van Der Donckt+5 more|arXiv (Cornell University)|Jul 15, 2022

EEG and Brain-Computer Interfaces被引用 8

一句话总结

本文提出了一套传统机器学习流程——包括预处理、手工特征提取以及线性与梯度提升分类器等简单模型——用于自动睡眠分期。该方法在两个小型公开数据集（Sleep-EDF SC-20 和 ST）上达到了最先进性能，在更大规模数据集上也取得了具有竞争力的结果，表明精心设计的特征工程可在不牺牲可解释性与效率的前提下，与深度学习方法相媲美。

ABSTRACT

Over the last few years, research in automatic sleep scoring has mainly focused on developing increasingly complex deep learning architectures. However, recently these approaches achieved only marginal improvements, often at the expense of requiring more data and more expensive training procedures. Despite all these efforts and their satisfactory performance, automatic sleep staging solutions are not widely adopted in a clinical context yet. We argue that most deep learning solutions for sleep scoring are limited in their real-world applicability as they are hard to train, deploy, and reproduce. Moreover, these solutions lack interpretability and transparency, which are often key to increase adoption rates. In this work, we revisit the problem of sleep stage classification using classical machine learning. Results show that competitive performance can be achieved with a conventional machine learning pipeline consisting of preprocessing, feature extraction, and a simple machine learning model. In particular, we analyze the performance of a linear model and a non-linear (gradient boosting) model. Our approach surpasses state-of-the-art (that uses the same data) on two public datasets: Sleep-EDF SC-20 (MF1 0.810) and Sleep-EDF ST (MF1 0.795), while achieving competitive results on Sleep-EDF SC-78 (MF1 0.775) and MASS SS3 (MF1 0.817). We show that, for the sleep stage scoring task, the expressiveness of an engineered feature vector is on par with the internally learned representations of deep learning models. This observation opens the door to clinical adoption, as a representative feature vector allows to leverage both the interpretability and successful track record of traditional machine learning models.

研究动机与目标

• 挑战当前自动睡眠分期领域对复杂深度学习模型的依赖趋势。
• 探究经典机器学习流程是否能在可解释性更好、计算成本更低的前提下实现具有竞争力的性能。
• 解决由于深度学习模型的黑箱特性、高资源需求及可复现性差，导致其在临床上应用受限的问题。
• 证明通过精心设计的特征向量，足以捕捉足够的表征能力，从而匹配深度学习模型的性能。
• 为未来睡眠分期研究提供一种实用、高效且可解释的基线方法。

提出的方法

• 对原始多导睡眠图（PSG）信号（包括EEG、EOG、EMG、ECG和呼吸信号）进行预处理。
• 提取一个多分辨率、多域的特征向量，以总结时间片段内的上下文信息及信号特性。
• 应用线性模型（逻辑回归）与非线性模型（梯度提升）进行睡眠阶段分类。
• 使用主成分分析（PCA）可视化并验证所提取特征空间的代表性。
• 在四个公开数据集上进行模型训练与评估：Sleep-EDF SC-20、Sleep-EDF ST、Sleep-EDF SC-78 和 MASS SS3。
• 模型训练与推理均在标准硬件上完成，计算开销极低。

实验结果

研究问题

• RQ1 传统的机器学习流程是否能在睡眠阶段分类任务中超越最先进水平的深度学习模型？
• RQ2 手工特征在在多大程度上可以替代深度神经网络，以捕捉PSG数据中复杂的时序模式？
• RQ3 在该任务中，传统机器学习与深度学习方法在训练时间、推理速度和模型复杂度方面有何比较？
• RQ4 与黑箱深度学习模型相比，经典模型的可解释性是否能提升其在临床中的采纳潜力？
• RQ5 当使用高度代表性的特征向量时，深度学习与传统机器学习之间的性能差距是否可忽略？

主要发现

• 所提出的流程在 Sleep-EDF SC-20 上取得了 0.810 的 F1-macro 最高分，在 Sleep-EDF ST 上取得了 0.795 的 F1-macro 最高分，优于现有深度学习方法在这些数据集上的表现。
• 在更大规模数据集上，该方法也取得了具有竞争力的结果，F1-macro 分数分别为 Sleep-EDF SC-78 的 0.775 和 MASS SS3 的 0.817。
• 线性模型在 Sleep-EDF ST 上也表现出色（F1-macro 为 0.795），表明该特征向量在无需复杂建模的情况下已具备足够的表征能力。
• 在低端 CPU 上，完整一晚睡眠（8 小时）的训练与推理时间均低于 25 秒，模型训练时间不足 1 分钟，展现出极高的效率。
• 通过 PCA 可视化证实，该特征向量具有高度代表性，验证了其总结多分辨率与多域信息的能力。
• 该方法在较小数据集上优于深度学习模型，表明有效的特征工程可提升数据效率与泛化能力。