[논문 리뷰] Neuro-GPT: Towards A Foundation Model for EEG

Wenhui Cui, Woojae Jeong외 5명|arXiv (Cornell University)|2023. 11. 07.

EEG and Brain-Computer Interfaces인용 수 5

한 줄 요약

Neuro-GPT는 대규모 EEG 데이터(TUH 데이터셋)에서 자기초기화된 사전 훈련을 가능하게 하기 위해 EEG 인코더와 GPT 기반 디코더를 조합한 기초 모델을 제안한다. 이는 저자료 환경에서 운동 상상 분류 성능을 크게 향상시킨다. 9명의 피험자에 대한 떼어내기 평가 기준에서 최고 수준의 정확도(64.3% ± 10.6%)를 달성하며, 이질적인 EEG 데이터 간 일반화를 위한 사전 훈련의 효과를 입증한다.

ABSTRACT

To handle the scarcity and heterogeneity of electroencephalography (EEG) data for Brain-Computer Interface (BCI) tasks, and to harness the power of large publicly available data sets, we propose Neuro-GPT, a foundation model consisting of an EEG encoder and a GPT model. The foundation model is pre-trained on a large-scale data set using a self-supervised task that learns how to reconstruct masked EEG segments. We then fine-tune the model on a Motor Imagery Classification task to validate its performance in a low-data regime (9 subjects). Our experiments demonstrate that applying a foundation model can significantly improve classification performance compared to a model trained from scratch, which provides evidence for the generalizability of the foundation model and its ability to address challenges of data scarcity and heterogeneity in EEG. The code is publicly available at github.com/wenhui0206/NeuroGPT.

연구 동기 및 목표

• EEG 기반 뇌-컴퓨터 인터페이스(BCI)에서 데이터 부족과 피험자 간 이질성 문제를 해결한다.
• 대규모 공개 EEG 데이터를 활용해 피험자 및 작업 간 일반화가 가능한 기초 모델을 개발한다.
• GPT 유사 아키텍처를 활용한 자기초기화 사전 훈련이 EEG에서 특징 학습 및 후행 분류 성능 향상에 기여하는지 탐구한다.
• 조각 크기, 겹침 비율, 모델 깊이 등의 아키텍처 선택이 사전 훈련 및 미세조정 성능에 미치는 영향을 조사한다.

제안 방법

• GPT 모델의 입력 토큰으로 사용하기 위해 원시 EEG 신호를 고정 길이의 시간적 조각(T초)으로 분할한다.
• 각 조각에서 노이즈 제거된 저차원의 시공간 임베딩을 추출하기 위해 1D 컨볼루션 및 자기주의 레이어를 조합한 하이브리드 EEG 인코더를 사용한다.
• 인과적 마스킹을 적용하여 마지막 임베딩된 조각을 마스킹하고, GPT 모델이 자동적으로 다음 토큰 예측을 통해 이를 재구성하도록 훈련한다.
• 예측된 임베딩과 원본 임베딩 간의 재구성 손실을 사용해 TUH EEG 데이터셋에서 전체 Neuro-GPT 모델을 사전 훈련한다.
• 9명의 피험자만을 사용하는 운동 상상 분류 작업에서 세 가지 전략(종합적 미세조정, 인코더 전용, 인코더+GPT)을 통해 EEG 인코더를 미세조정한다.
• 조각 길이(1–4초), 조각 수(4–32), 겹침 비율(10–50%), 임베딩 차원(768–1024) 등의 하이퍼파라미터를 평가한다.

실험 결과

연구 질문

• RQ1 대규모 EEG 데이터에서 사전 훈련된 기초 모델이 저자료 환경에서 분류 성능 향상에 기여하는가?
• RQ2 EEG 인코더 및 GPT 디코더의 아키텍처 설계가 특징 학습 및 후행 성능에 어떤 영향을 미치는가?
• RQ3 사전 훈련에 최적화된 조각 크기, 조각 수, 겹침 비율 조합은 무엇인가?
• RQ4 GPT 구성 요소가 후행 분류에 실질적인 기여를 하는가, 아니면 과적합으로 인해 성능 저하를 초래하는가?
• RQ5 사전 훈련이 피험자 간 EEG 특징의 선형 가분성에 어떻게 기여하는가?

주요 결과

• 사전 훈련된 Neuro-GPT 모델은 9명의 피험자에 대한 떼어내기 평가에서 평균 분류 정확도 64.3% ± 10.6%를 달성하였으며, 무작위 초기화된 모델(59.6% ± 9.0%)과 이전 방법(BENDR, 42.6%)을 모두 초월하였다.
• 인코더 전용 미세조정 전략이 가장 높은 성능을 보였으며, 이는 사전 훈련된 인코더가 매우 일반화 가능하고 분류에 유용한 특징을 학습했음을 시사한다.
• 사전 훈련 시 16개 또는 32개의 조각을 사용할 경우 4개 또는 8개의 조각을 사용한 경우보다 더 나은 후행 성능을 보였으며, 이는 더 긴 시퀀스가 특징 학습에 유리함을 시사한다.
• 재구성하기 어려운 4초 조각 길이가 후행 성능 향상에 기여했으며, 반면 1초 조각은 성능이 열 劣했다.
• GPT-2 임베딩 차원을 768에서 1024로 늘일수록 후행 정확도가 향상되었지만, 6개 이상의 GPT 디코더 레이어를 추가해도 성능 향상이 없었다.
• 50% 겹침 비율은 후행 성능을 저하시켰으며, 이는 반복되거나 노이즈가 많은 정보가 재구성 및 특징 학습에 악영향을 미쳤기 때문일 것이다.