[論文レビュー] Clinical translation of machine learning algorithms for seizure detection in scalp electroencephalography: systematic review

Nina Moutonnet, Steven K White+6 more|arXiv (Cornell University)|Apr 8, 2024

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本システマティックレビューでは、頭皮EEGにおけるてんかん発作検出のための機械学習アルゴリズムを評価し、一般化能⼒の低さ、計算コストの高さ、説明可能性の欠如といった、臨床応用への主な障壁を特定した。本研究では、leave-one-patient-out交差検証、適切なデータ分割、全チャネル入力による3〜5秒のセグメント化を含むベストプラクティスを提案し、従来の機械学習では94.3%、ディープラーニングでは91.8%の精度を達成した。

ABSTRACT

Machine learning algorithms for seizure detection have shown considerable diagnostic potential, with recent reported accuracies reaching 100%. Yet, only few published algorithms have fully addressed the requirements for successful clinical translation. This is, for example, because the properties of training data may limit the generalisability of algorithms, algorithm performance may vary depending on which electroencephalogram (EEG) acquisition hardware was used, or run-time processing costs may be prohibitive to real-time clinical use cases. To address these issues in a critical manner, we systematically review machine learning algorithms for seizure detection with a focus on clinical translatability, assessed by criteria including generalisability, run-time costs, explainability, and clinically-relevant performance metrics. For non-specialists, the domain-specific knowledge necessary to contextualise model development and evaluation is provided. It is our hope that such critical evaluation of machine learning algorithms with respect to their potential real-world effectiveness can help accelerate clinical translation and identify gaps in the current seizure detection literature.

研究の動機と目的

• 頭皮EEGにおけるてんかん発作検出のための機械学習アルゴリズムの臨床的応用可能性を評価すること。
• 実用的導入を制限する主な課題、特にデータの一般化能⼒、計算コスト、モデルの説明可能性を特定すること。
• 臨床EEG応用におけるアルゴリズム設計と評価の改善に役立つ、根拠に基づく推奨事項を提供すること。

提案手法

• 2019年から2023年までの期間、Scopus、PubMed、Web of Scienceから抽出された4,515件の論文を対象にシステマティックレビューを実施し、非侵襲的頭皮EEGおよびヒトを対象とした研究に絞った。
• 感度、特異度、F1スコアなどの指標を用いて、一般化能⼒、実行時間効率、説明可能性、パフォーマンスの観点からアルゴリズムを評価した。
• データ漏れを回避し、実世界での導入を想定した検証のため、leave-one-patient-out交差検証を推奨した。
• 診断情報の保持を目的として、ノッチフィルタおよびバンドパスフィルタ（0.3–60 Hz）を用いた前処理と、全利用可能なEEGチャネルの使用を提言した。
• モデル開発は臨床用途に合わせて最適化され、特徴選択、アーキテクチャ、検証戦略の背後にある根拠を明確にすることが重要であると強調した。
• 特に不均衡なデータセットにおいても過学習を防ぐために、統計的独立性を保つために適切なデータ分割を重視した。

Figure 1: Potential use cases, challenges and recording modality for automated scalp EEG seizure detection [ 9 ] . Applications for seizure detection algorithms range widely, from (1) highlighting to clinicians sections of interest in long recordings to facilitate annotation offline; (2) real-time s

実験結果

リサーチクエスチョン

• RQ1 頭皮EEGを用いたてんかん発作検出における機械学習アルゴリズムの臨床的応用への主な障壁は何か？
• RQ2 データの複雑さ、ラベルの不一致、ハードウェアのばらつきは、アルゴリズムの一般化能⼒およびパフォーマンスにどのように影響するか？
• RQ3 実世界での有効性と信頼性を高めるために、どのようなメソドロジカルベストプラクティスが有効か？
• RQ4 従来の機械学習とディープラーニングのモデルアーキテクチャは、正確性と計算コストの観点でどのように比較されるか？
• RQ5 多様な患者集団にわたる臨床的パフォーマンスと一般化能⼒を的確に反映する評価戦略は何か？

主な発見

• 従来の機械学習モデルでは平均94.3%（95%CI: 94.3 ± 2.3）の検出精度を達成したが、ディープラーニングモデルは91.8%（95%CI: 91.8 ± 2.3）にとどまった。
• サンプリング周波数が170 Hzを超える場合、3〜5秒のセグメント長さが、定常性と情報量のバランスを最適にした。
• leave-one-patient-out交差検証は、実世界での一般化能⼒を評価し、過学習を低減するうえで最も効果的な検証戦略であると特定された。
• 全利用可能なEEGチャネルを用いることで、発作タイプが患者間で一貫して検出可能になるため、検出性能が著しく向上した。
• 分割後にオーグメンテーションおよび特徴選択を実施することで、統計的独立性を維持し、偏ったパフォーマンス推定を回避するうえで、適切なデータ分割が不可欠であった。
• 本研究では、説明可能性と臨床的関連性の欠如という深刻なギャップが浮き彫りになった。多くのアルゴリズムが臨床的意味のある文脈で感度や特異度を報告していなかった。

Figure 2: 10-20 electrode placement system with front-back (nasion to inion) 10% and 20% electrode distances. The number of electrodes used for EEG recording varies. The spatial resolution of scalp EEG setups can range from 14 channels (low resolution) to 256 channels (high resolution). According to