[论文解读] Epileptic Seizure Classification with Symmetric and Hybrid Bilinear Models

Tennison Liu, Nhan Duy Truong+3 more|arXiv (Cornell University)|Jan 15, 2020

EEG and Brain-Computer Interfaces参考文献 32被引用 5

一句话总结

该论文提出了一种新颖的混合双线性深度学习模型，结合卷积神经网络（CNNs）和循环神经网络（RNNs），利用短时傅里叶变换（STFT）特征，对一秒内的头皮脑电图（sEEG）信号进行癫痫发作类型的分类。该方法在坦普尔大学医院（TUH）数据集上实现了97.4%的F1分数，在EPILEPSIAE数据集上实现了97.2%的F1分数，展示了在经过最少特征工程处理的多样化数据集上卓越的性能和泛化能力。

ABSTRACT

Epilepsy affects nearly 1% of the global population, of which two thirds can be treated by anti-epileptic drugs and a much lower percentage by surgery. Diagnostic procedures for epilepsy and monitoring are highly specialized and labour-intensive. The accuracy of the diagnosis is also complicated by overlapping medical symptoms, varying levels of experience and inter-observer variability among clinical professions. This paper proposes a novel hybrid bilinear deep learning network with an application in the clinical procedures of epilepsy classification diagnosis, where the use of surface electroencephalogram (sEEG) and audiovisual monitoring is standard practice. Hybrid bilinear models based on two types of feature extractors, namely Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs), are trained using Short-Time Fourier Transform (STFT) of one-second sEEG. In the proposed hybrid models, CNNs extract spatio-temporal patterns, while RNNs focus on the characteristics of temporal dynamics in relatively longer intervals given the same input data. Second-order features, based on interactions between these spatio-temporal features are further explored by bilinear pooling and used for epilepsy classification. Our proposed methods obtain an F1-score of 97.4% on the Temple University Hospital Seizure Corpus and 97.2% on the EPILEPSIAE dataset, comparing favourably to existing benchmarks for sEEG-based seizure type classification. The open-source implementation of this study is available at https://github.com/NeuroSyd/Epileptic-Seizure-Classification

研究动机与目标

• 为解决临床中癫痫发作类型诊断不准确且耗时的问题，包括症状重叠、观察者间差异以及神经科医生资源有限等挑战。
• 开发一种自动化、基于深度学习的系统，利用sEEG和视听监测数据，提高癫痫发作类型分类的准确性、速度和可靠性。
• 探索双线性池化在建模CNN和RNN提取的空间-时间特征之间相互作用方面的有效性，以提升癫痫发作分类性能。
• 评估混合双线性模型在不同规模和发作类型分布的数据集之间的泛化能力。
• 在最小化特征工程的前提下，为基于sEEG的癫痫发作分类建立新的性能基准。

提出的方法

• 该方法使用短时傅里叶变换（STFT）将一秒的sEEG信号转换为类似频谱图的表示形式，作为深度学习模型的输入。
• 采用混合架构，结合双流编码器：CNN用于提取局部时空模式，RNN用于建模同一输入中的长程时间动态。
• 应用双线性池化，计算CNN和RNN流的特征图之间的二阶交互，捕捉空间与时间特征之间复杂且非线性的关系。
• 将生成的双线性特征输入分类器，实现端到端训练与推理，即使在存在相似脑电信号伪影的情况下也能实现判别性学习。
• 该模型在两个公开数据集上进行训练与评估：坦普尔大学医院癫痫语料库（TUH）和EPILEPSIAE数据集。
• 该框架模块化且可扩展，未来可集成其他特征提取器或多模态数据。

实验结果

研究问题

• RQ1 与单流模型相比，结合CNN和RNN流编码器的混合双线性模型是否能提升癫痫发作类型的分类性能？
• RQ2 对空间和时间特征进行双线性池化是否能增强对相似脑电图模式（如不同发作类型或伪影）的判别能力？
• RQ3 所提出的混合双线性模型在具有不同规模和发作类型分布的数据集之间是否具备良好的泛化能力？
• RQ4 与对称双线性模型和单流架构相比，该混合模型的性能提升是否具有统计显著性？
• RQ5 该模型是否能在较小数据集（如EPILEPSIAE）上实现高精度，且仅依赖最少的特征工程？

主要发现

• 该混合双线性模型在坦普尔大学医院（TUH）癫痫语料库上实现了97.4%的F1分数，为基于sEEG的癫痫发作分类设立了新基准。
• 在较小的EPILEPSIAE数据集上，该模型实现了97.2%的F1分数，尽管训练数据有限，仍表现出强大的泛化能力。
• 该混合双线性模型显著优于对称双线性模型和单流CNN/RNN模型，在Mann-Whitney U检验中p值为0.025。
• 与最佳单流网络相比，该模型性能提升了2%以上，且p值为0.022，具有统计显著性。
• 该模型在不同规模的数据集上均表现出良好泛化能力，在大型数据集（TUH，2494分钟）和小型数据集（EPILEPSIAE，349分钟）上均保持高性能。
• 该模型计算效率高，参数量仅约110万个，且在NVIDIA K80 GPU上的推理时间约为1.2毫秒。