[论文解读] Deep Learning Approaches for Seizure Video Analysis: A Review

David Ahmedt‐Aristizabal, Mohammad Ali Armin+6 more|arXiv (Cornell University)|Dec 18, 2023

EEG and Brain-Computer Interfaces被引用 4

一句话总结

本综述整合了2016年以来用于自动癫痫发作视频分析的深度学习方法，重点聚焦于动作识别与症状学检测。提出了一种结合卷积神经网络与图神经网络的集成化处理流程，用于量化运动性发作，提升了检测与定位的准确性，同时通过注意力机制与可视化技术增强了模型的可解释性。

ABSTRACT

Seizure events can manifest as transient disruptions in the control of movements which may be organized in distinct behavioral sequences, accompanied or not by other observable features such as altered facial expressions. The analysis of these clinical signs, referred to as semiology, is subject to observer variations when specialists evaluate video-recorded events in the clinical setting. To enhance the accuracy and consistency of evaluations, computer-aided video analysis of seizures has emerged as a natural avenue. In the field of medical applications, deep learning and computer vision approaches have driven substantial advancements. Historically, these approaches have been used for disease detection, classification, and prediction using diagnostic data; however, there has been limited exploration of their application in evaluating video-based motion detection in the clinical epileptology setting. While vision-based technologies do not aim to replace clinical expertise, they can significantly contribute to medical decision-making and patient care by providing quantitative evidence and decision support. Behavior monitoring tools offer several advantages such as providing objective information, detecting challenging-to-observe events, reducing documentation efforts, and extending assessment capabilities to areas with limited expertise. The main applications of these could be (1) improved seizure detection methods; (2) refined semiology analysis for predicting seizure type and cerebral localization. In this paper, we detail the foundation technologies used in vision-based systems in the analysis of seizure videos, highlighting their success in semiology detection and analysis, focusing on work published in the last 7 years. Additionally, we illustrate how existing technologies can be interconnected through an integrated system for video-based semiology analysis.

研究动机与目标

• 通过开发自动化、客观的视频分析工具，解决临床癫痫发作症状学评估中的观察者差异问题。
• 系统化总结过去七年中基于视频的癫痫发作检测与分类的深度学习最新进展。
• 提出一种集成化、模块化的自动化癫痫发作视频分析框架，以支持临床决策。
• 通过引入注意力机制与时空可视化技术，提升深度学习模型在癫痫领域的可解释性。
• 识别关键挑战，如数据稀缺与模型泛化能力不足，并规划多模态癫痫表型研究的未来方向。

提出的方法

• 利用三维卷积神经网络（3D-CNNs）与双流网络，从癫痫发作视频序列中提取时空特征。
• 采用图神经网络模型表示身体关节之间的相互作用，并通过空间与时间依赖性建模动态运动序列。
• 应用运动引导采样（MGSampler）技术，优先选择高运动显著性帧，以提升时间表征能力。
• 整合注意力机制与类别激活映射（CAM）技术，实现对模型决策在时空维度上的可视化与可解释性分析。
• 结合未来帧的预测建模，评估模型关注点并检测训练数据中的偏差。
• 提出一种模块化、可扩展的处理流程，整合视频分析与临床数据，包括与SEEG及神经影像数据的潜在融合。

实验结果

研究问题

• RQ1 与临床评估相比，深度学习模型如何提升视频记录中癫痫症状学检测的准确性与一致性？
• RQ2 哪些深度学习架构在捕捉癫痫相关运动行为的时空模式方面最为有效？
• RQ3 如何增强模型的可解释性，以支持癫痫监测中临床信任与实际应用？
• RQ4 在真实临床环境与家庭场景中部署基于视频的癫痫发作分析面临哪些关键挑战？
• RQ5 如何整合多模态数据（视频、EEG、神经影像）以提升癫痫发作类型分类与脑区定位预测的准确性？

主要发现

• 深度学习模型，特别是3D-CNNs与图神经网络，在从视频中检测与分类癫痫症状学方面表现出色。
• 运动引导采样通过聚焦于高运动显著性片段，提升了帧选择效率与模型准确性。
• 注意力机制与CAM等可视化技术为模型预测提供了可解释的洞察，增强了透明度。
• 图神经网络能有效捕捉身体关节间的空间关系与时间动态，提升复杂运动模式下的动作识别性能。
• 未来帧的预测建模有助于识别模型偏差与训练关注点，支持模型鲁棒性评估。
• 将基于视频的分析与SEEG等临床数据整合，有望提升癫痫灶定位与分类的精度，但大规模、多样化的数据集仍是主要瓶颈。