[논문 리뷰] NeuroLM: A Universal Multi-task Foundation Model for Bridging the Gap between Language and EEG Signals

Wei-Bang Jiang, Yansen Wang외 2명|arXiv (Cornell University)|2024. 08. 27.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

NeuroLM는 EEG를 '외국어'로 간주하고 텍스트 정렬 신경 토크나이저를 통해 EEG를 텍스트와 정렬함으로써, 대규모 언어 모델(Langauge Models, LLMs)과의 엔드 투 엔드 통합을 가능하게 하는 첫 번째 유니버설 다중 작업 기초 모델을 제안한다. 다중 채널 순차적 사전 훈련과 지시 훈련을 통해 여섯 가지 다양한 EEG 작업에서 최신 기술 수준의 성능을 달성하며, 가장 큰 버전인 NeuroLM-XL은 1.7B 매개변수와 약 25,000시간의 사전 훈련 데이터를 활용한다.

ABSTRACT

Recent advancements for large-scale pre-training with neural signals such as electroencephalogram (EEG) have shown promising results, significantly boosting the development of brain-computer interfaces (BCIs) and healthcare. However, these pre-trained models often require full fine-tuning on each downstream task to achieve substantial improvements, limiting their versatility and usability, and leading to considerable resource wastage. To tackle these challenges, we propose NeuroLM, the first multi-task foundation model that leverages the capabilities of Large Language Models (LLMs) by regarding EEG signals as a foreign language, endowing the model with multi-task learning and inference capabilities. Our approach begins with learning a text-aligned neural tokenizer through vector-quantized temporal-frequency prediction, which encodes EEG signals into discrete neural tokens. These EEG tokens, generated by the frozen vector-quantized (VQ) encoder, are then fed into an LLM that learns causal EEG information via multi-channel autoregression. Consequently, NeuroLM can understand both EEG and language modalities. Finally, multi-task instruction tuning adapts NeuroLM to various downstream tasks. We are the first to demonstrate that, by specific incorporation with LLMs, NeuroLM unifies diverse EEG tasks within a single model through instruction tuning. The largest variant NeuroLM-XL has record-breaking 1.7B parameters for EEG signal processing, and is pre-trained on a large-scale corpus comprising approximately 25,000-hour EEG data. When evaluated on six diverse downstream datasets, NeuroLM showcases the huge potential of this multi-task learning paradigm.

연구 동기 및 목표

• EEG 기반 뇌-컴퓨터 인터페이스 및 헬스케어 응용 분야에서 작업별 특화 미세조정의 한계를 해결하기 위해.
• LLM이 신경 신호를 '외국어'로 이해할 수 있도록 언어와 EEG 모odalities 간 격차를 해소하기 위해.
• 작업별 특화 미세조정 없이도 다양한 EEG 작업에 일반화할 수 있는 통합형 다중 작업 기초 모델을 개발하기 위해.
• EEG-텍스트 정렬 문제, LLM 내에서의 효과적인 표현 학습, 통합된 다중 작업 학습의 과제를 극복하기 위해.
• 대규모 사전 훈련과 지시 훈련이 단일 모델이 여러 EEG 작업을 효과적으로 처리할 수 있도록 할 수 있음을 입증하기 위해.

제안 방법

• 벡터 양자화된 시간-주파수 예측을 통해 연속적인 EEG 신호를 이산적 신경 토큰으로 변환하는 텍스트 정렬 신경 토크나이저를 훈련하며, EEG와 텍스트 임베딩을 정렬하기 위해 적대적 훈련을 적용한다.
• 고정된 벡터 양자화(VQ) 인코더는 압축된 이산적 EEG 토큰 시퀀스를 추출하여 사전 훈련된 대규모 언어 모델(LLM)에 입력한다.
• 다중 채널 순차적 사전 훈련을 통해 LLM이 다중 채널을 통해 미래의 EEG 토큰을 예측함으로써 인과적 표현을 학습할 수 있도록 한다.
• 통합된 다중 작업 지시 훈련을 통해 자연어 지시를 사용하여 모델을 다양한 최종 응용 작업에 적응시키며, 제로샷 및 소수 샘플 일반화를 가능하게 한다.
• 모델는 약 25,000시간의 대규모 EEG 코퍼스에서 사전 훈련되며, 소형에서부터 1.7B 매개변수(NeuroLM-XL)에 이르는 다양한 크기의 버전을 제공한다.
• 이 프레임워크는 EEG 신호를 토큰 시퀀스로 간주함으로써, LLM이 다양한 EEG 모달리티에 대해 이해 및 생성 작업을 수행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 EEG 신호가 자연어와 의미적으로 정렬된 이산적 토큰으로 효과적으로 인코딩될 수 있는가? 이를 통해 LLM이 이를 '외국어'로 처리할 수 있는가?
• RQ2 LLM 프레임워크 내에서 다중 채널 순차적 사전 훈련이 EEG 신호의 인과적이고 일반화 가능한 표현을 학습할 수 있는가?
• RQ3 작업별 특화 미세조정 없이도 단일 통합 기초 모델이 다양한 관련 없는 EEG 작업에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 선택지 순서가 뒤바뀐 다중 선택 지시에 대해 모델의 성능은 얼마나 견고한가?
• RQ5 지시 데이터 크기와 모델 규모가 EEG 신호 처리에서의 다중 작업 성능에 미치는 영향은 무엇인가?

주요 결과

• NeuroLM-XL은 여섯 가지 다양한 EEG 데이터셋에서 최신 기술 수준의 성능를 달성했으며, TUSL 데이터셋에서 매크로 F1 스코어 0.6839 ± 0.0297을 기록하여 이전 방법들을 능가했다.
• 모델는 다양한 지시 데이터 크기에서도 일관된 성능를 유지하며, 다중 작업 학습에서의 견고성과 확장성을 입증했다.
• 제거 실험 결과 다중 채널 순차적 사전 훈련이 최종 성능 향상에 크게 기여함을 확인하였으며, 이는 인과적 EEG 표현 학습의 중요성을 강조한다.
• 다중 선택 지시에서 선택지 순서가 뒤바뀌어도 모델의 성능가 떨어지지 않아, 패턴 암기보다 진정한 언어적 맥락 이해를 하고 있음을 시사한다.
• 검증 퍼플렉서티는 감소하고 훈련 손실은 안정적으로 수렴함으로써, 모든 모델 버전에서 새로운 EEG 데이터에 효과적으로 일반화됨을 나타낸다.
• 1.7B 매개변수의 크기에도 불구하고 NeuroLM-XL은 그 능력을 완전히 활용하지 못함을 보여주며, 현재의 사전 훈련 데이터 크기가 10억 매개변수 모델에 비해 부족할 수 있음을 시사한다.