[論文レビュー] EEG-GPT: Exploring Capabilities of Large Language Models for EEG Classification and Interpretation

Jonathan W. Kim, Ahmed Alaa+1 more|arXiv (Cornell University)|Jan 31, 2024

EEG and Brain-Computer Interfaces被引用数 8

ひとこと要約

EEG-GPT は、口頭で説明された EEG 特徴にファインチューニングされた大規模言語モデルを用いて、 few-shot 学習で正常対異常 EEG を分類し、透明性のために EEG ツールを用いた逐次推論を示します。

ABSTRACT

In conventional machine learning (ML) approaches applied to electroencephalography (EEG), this is often a limited focus, isolating specific brain activities occurring across disparate temporal scales (from transient spikes in milliseconds to seizures lasting minutes) and spatial scales (from localized high-frequency oscillations to global sleep activity). This siloed approach limits the development EEG ML models that exhibit multi-scale electrophysiological understanding and classification capabilities. Moreover, typical ML EEG approaches utilize black-box approaches, limiting their interpretability and trustworthiness in clinical contexts. Thus, we propose EEG-GPT, a unifying approach to EEG classification that leverages advances in large language models (LLM). EEG-GPT achieves excellent performance comparable to current state-of-the-art deep learning methods in classifying normal from abnormal EEG in a few-shot learning paradigm utilizing only 2% of training data. Furthermore, it offers the distinct advantages of providing intermediate reasoning steps and coordinating specialist EEG tools across multiple scales in its operation, offering transparent and interpretable step-by-step verification, thereby promoting trustworthiness in clinical contexts.

研究の動機と目的

• 大規模言語モデルを活用して多尺度 EEG 現象に対処する統一的な EEG 分類フレームワークを提案する。
• LLM が few-shot および zero-shot 学習で正常/異常 EEG 分類を実行できるか評価する。
• ツリー・オブ・ソウツとツール統合の可能性を示し、透明で逐次的な EEG 解釈を提供する。

提案手法

• EEG 記録を 20 秒エポックに分割し、Cz, T5, T6, O1, O2 のチャンネルについて、電圧振幅の 90 パーセンタイル、標準偏差、尖度、アルファ:デルタ、シータ:アルファ、デルタ:シータ パワー比の各特徴を算出する。
• 特徴要約を口頭プロンプトに変換し、プロンプト-完了ペアを用いて da Vinci GPT-3 ベース LLM をファインチューニングして正常/異常ラベルを予測する。
• 訓練データの 2% を用いて、従来の ML および深層学習のベースラインと比べて EEG-GPT を few-shot 学習で評価する。
• 文脈付き学習の有無で zero-shot パフォーマンスを評価する。
• Tree of Thoughts フレームワークで、LLM が専門ツール（発作検出器、スパイク検出、qEEG 特徴比較）を使用できるようにして推論能力を探る。
• Framework がツールを用いて最終分類に到達する例を示す。

Figure 1: Diagram depicting the process of fine-tuning large language models [ 9 ]

実験結果

リサーチクエスチョン

• RQ1 ラベル化された EEG 特徴でファインチューニングされた LLM は、限定的な訓練データで従来の ML 法と正常/異常 EEG 分類で同等になり得るか。
• RQ2 EEG-GPT は、生データ EEG を用いた深層学習モデルと比べて zero-shot および few-shot 設定で堅牢な性能を維持できるか。
• RQ3 LLM は透明で逐次的な意思決定プロセスで複数の EEG 分析ツールを調整し、EEG を分類できるか。
• RQ4 LLM 主導の EEG 解釈の潜在的な失敗モード（例：幻覚）と、それを人間の監視がどう緩和できるか。

主な発見

• EEG-GPT は 2% の訓練データで AUROC 0.86 を達成し、同程度のデータ制約の下で従来の ML 手法を上回る。
• ゼロショットモードでは、EEG-GPT は偶然以上の性能を示し、文脈付き学習で AUROC 0.63 に到達。
• 2% データで、EEG-GPT は利用可能な全データで訓練された深層学習法に匹敵する一方、完全訓練時には一部の最先端深層モデルが依然として上回る。
• Tree of Thoughts フレームワークにより、LLM は自動化された発作検出、スパイク検出、および qEEG 特徴比較ツールを使用して最終判断に到達できる。
• 証拠が十分な場合には早期に停止する（発作の例）または複数のツールを統合して分類に到達する例を示すデモ。
• 生データ EEG を使用する DL アプローチと比較して、EEG-GPT は限られた特徴セットを用いながら few-shot 設定で競争力のある性能を示す。

Figure 2: Pipeline for few-shot experiment