[논문 리뷰] EEG-GPT: Exploring Capabilities of Large Language Models for EEG Classification and Interpretation

Jonathan W. Kim, Ahmed Alaa외 1명|arXiv (Cornell University)|2024. 01. 31.

EEG and Brain-Computer Interfaces인용 수 8

한 줄 요약

EEG-GPT는 구두로 설명된 EEG 특징으로 미세 조정된 대형 언어 모델을 사용하여 정상 vs 비정상 EEG를 소수 샘플 학습으로 분류하고, 투명성을 위해 EEG 도구를 활용한 단계적 추론을 시연합니다.

ABSTRACT

In conventional machine learning (ML) approaches applied to electroencephalography (EEG), this is often a limited focus, isolating specific brain activities occurring across disparate temporal scales (from transient spikes in milliseconds to seizures lasting minutes) and spatial scales (from localized high-frequency oscillations to global sleep activity). This siloed approach limits the development EEG ML models that exhibit multi-scale electrophysiological understanding and classification capabilities. Moreover, typical ML EEG approaches utilize black-box approaches, limiting their interpretability and trustworthiness in clinical contexts. Thus, we propose EEG-GPT, a unifying approach to EEG classification that leverages advances in large language models (LLM). EEG-GPT achieves excellent performance comparable to current state-of-the-art deep learning methods in classifying normal from abnormal EEG in a few-shot learning paradigm utilizing only 2% of training data. Furthermore, it offers the distinct advantages of providing intermediate reasoning steps and coordinating specialist EEG tools across multiple scales in its operation, offering transparent and interpretable step-by-step verification, thereby promoting trustworthiness in clinical contexts.

연구 동기 및 목표

• 다중 규모의 EEG 현상을 다루기 위해 대형 언어 모델을 활용하는 통합 EEG 분류 프레임워크의 필요성을 제기한다.
• 소수 샷과 제로 샷 학습으로 LLM이 정상/비정상 EEG 분류를 수행할 수 있는지 평가한다.
• 생각의 나무(Tree of Thought)와 도구 통합의 가능성을 입증하여 투명하고 단계별 EEG 해석을 제공한다.

제안 방법

• EEG 기록을 20초 구간으로 분할하고 Cz, T5, T6, O1, O2 채널에 대해 채널별 특징치를 계산한다(전압 진폭의 90번째 백분위수, 표준편차, 첨도, 알파:델타, 세타:알파, 델타:세타 파워 비율).
• 특징 요약을 구두 프롬프트로 변환하고 프롬프트-완성 쌍을 사용해 da Vinci GPT-3 기반 LLM을 미세조정하여 정상 vs 비정상 라벨을 예측한다.
• 2%의 학습 데이터를 사용하여 기존 ML 및 딥러닝 기준선과 비교한 소수 샷 학습에서 EEG-GPT를 평가한다.
• 맥락 학습(in-context learning) 여부에 따라 제로샷 성능을 평가한다.
• Tree of Thoughts 프레임워크에서 LLM이 발작 탐지기, 스파이크 탐지기, qEEG 특징 비교 도구를 사용하는 것을 가능하게 하여 추론 능력을 탐구한다.
• 프레임워크가 도구를 사용하여 최종 분류에 도달하는 사례를 제시한다.

Figure 1: Diagram depicting the process of fine-tuning large language models [ 9 ]

실험 결과

연구 질문

• RQ1 언어화된 EEG 특징으로 미세조정된 LLM이 제한된 학습 데이터에서 정상/비정상 EEG 분류에서 전통적인 ML 방법과 견주어 성능을 낼 수 있는가?
• RQ2 원시 EEG 데이터로 학습된 딥러닝 모델과 비교하여 zero-shot 및 few-shot 설정에서 EEG-GPT의 성능이 여전히 우수한가?
• RQ3 LLM이 여러 EEG 분석 도구를 투명하고 단계별 의사결정 과정으로 조정하여 EEG를 분류할 수 있는가?
• RQ4 LLM 주도 EEG 해석의 잠재적 실패 모드(예: 허위정보)와 인간 감독이 이를 완화하는 방법은 무엇인가?

주요 결과

• EEG-GPT는 2%의 학습 데이터로 AUROC 0.86을 달성하여 유사한 데이터 제약하에서 전통적인 ML 방법을 능가한다.
• 제로샷 모드에서 EEG-GPT는 확률 이상으로 성능을 보이며 맥락 학습과 함께 AUROC 0.63에 도달한다.
• 2% 데이터로 EEG-GPT는 사용 가능한 모든 데이터로 학습된 딥러닝 방법과 일치하나, 완전 학습 시에는 SOTA 딥 모델 중 일부가 여전히 더 잘 수행한다.
• Tree of Thoughts 프레임워크는 LLM이 자동 발작 탐지, 스파이크 탐지, qEEG 특징 비교 도구를 사용하여 최종 결정을 내리도록 한다.
• 시연은 충분한 증거가 있을 때 프레임워크가 조기에 중지하거나(발작 예시) 여러 도구를 통합해 분류에 도달하는 예시를 보여준다(발작 아님 비정상 예시).
• 원시 EEG를 사용하는 DL 접근법과 비교할 때, EEG-GPT는 제한된 특징 세트를 사용하지만 소수 샷 설정에서 경쟁력 있는 성능을 보인다.

Figure 2: Pipeline for few-shot experiment