[논문 리뷰] BrainWave: A Brain Signal Foundation Model for Clinical Applications

Zhizhang Yuan, Shen, Fanqi외 4명|arXiv (Cornell University)|2024. 02. 15.

Neural dynamics and brain functionNeuroscience인용 수 3

한 줄 요약

Brant-2는 다양한 침습적(SEEG) 및 비침습적(EEG) 뇌 신호 데이터 총 4TB에 걸쳐 대규모 사전 훈련을 수행한 기초 모델로, 다양한 임상 과제에서 강력한 소수의 예시 성능을 보이며, 뇌 신호에 대한 일반화 능력과 레이블 효율성을 확보한다. 간질 예측 과제에서 1%의 레이블 데이터만으로도 F1 점수 감소가 10% 미만으로 유지되어, 지도 학습 기반 최고 성능(SOTA) 모델보다 뛰어난 레이블 효율성을 입증한다.

ABSTRACT

Neural electrical activity is fundamental to brain function, underlying a range of cognitive and behavioral processes, including movement, perception, decision-making, and consciousness. Abnormal patterns of neural signaling often indicate the presence of underlying brain diseases. The variability among individuals, the diverse array of clinical symptoms from various brain disorders, and the limited availability of diagnostic classifications, have posed significant barriers to formulating reliable model of neural signals for diverse application contexts. Here, we present BrainWave, the first foundation model for both invasive and non-invasive neural recordings, pretrained on more than 40,000 hours of electrical brain recordings (13.79 TB of data) from approximately 16,000 individuals. Our analysis show that BrainWave outperforms all other competing models and consistently achieves state-of-the-art performance in the diagnosis and identification of neurological disorders. We also demonstrate robust capabilities of BrainWave in enabling zero-shot transfer learning across varying recording conditions and brain diseases, as well as few-shot classification without fine-tuning, suggesting that BrainWave learns highly generalizable representations of neural signals. We hence believe that open-sourcing BrainWave will facilitate a wide range of clinical applications in medicine, paving the way for AI-driven approaches to investigate brain disorders and advance neuroscience research.

연구 동기 및 목표

• 임상 신경과학 분야에서 레이블이 부여된 뇌 신호 데이터의 높은 비용과 부족함을 해결하기 위해 기초 모델을 개발하는 것.
• 침습적(SEEG) 및 비침입적(EEG) 뇌 신호 모odalities에 모두 적용 가능한 단일 통합 모델을 구축하는 것.
• 임상 응용에서 흔한 저자원 레이블링 환경에서의 성능 향상.
• 간질 감지, 예측, 수면 단계 분류, 정서 인식, 운동 상상과 같은 다양한 뇌 신호 과제 간의 전이 학습을 가능하게 하는 것.
• 최적의 일반화 및 확장성 확보를 위한 아키텍처 구성 요소와 사전 훈련 목표의 검증.

제안 방법

• SEEG 및 EEG 모달리티에서 15,000명 이상의 환자로부터 확보한 총 4TB의 레이블이 없는 뇌 신호 데이터를 기반으로 사전 훈련을 수행한다.
• 시간적 동적 특성과 전극 간 공간 상관관계를 모델링하기 위해 별도의 시간적 및 공간적 인코더를 갖춘 이중 인코더 아키텍처를 적용한다.
• 단기 및 장기적 의존성을 포착하기 위해 마스크된 신호 복원 및 향후 신호 예측을 위한 두 가지 사전 훈련 과제를 사용한다.
• 표현 능력과 모델 복잡도를 향상시키기 위해 다중-피드포워드 네트워크(multi-FFN) 트랜스포머 블록을 적용한다.
• 최소한의 레이블 데이터로 사전 훈련된 모델을 미세조정하여 소수의 예시 적응이 가능하도록 한다.
• 아키텍처 구성 요소 간의 공정한 비교를 위해 할례레이션 변형에서 모델 크기와 파라미터 수를 통제한다.

실험 결과

연구 질문

• RQ1 다양한 샘플링 주파수와 전극 구성이 적용된 다양한 뇌 신호 모달리티(SEEG 및 EEG) 간에서 기초 모델이 일반화 가능한가?
• RQ2 제안된 사전 훈련 과제(마스크 및 예측)가 강력하고 이식 가능한 표현을 학습하는 데 얼마나 효과적인가?
• RQ3 1%의 훈련 레이블만으로도 Brant-2가 저자원 레이블링 환경에서 성능을 유지하는 정도는 어느 정도인가?
• RQ4 개별 아키텍처 구성 요소(시간적 인코더, 공간적 인코더, 다중-FFN)가 최종 성능에 기여하는 정도는 어떠한가?
• RQ5 다양한 과제에 대한 적응력을 향상시키기 위해 다중 과제를 동시에 사전 훈련하는 것이 효과적인가?

주요 결과

• Brant-2는 다섯 가지 최종 과제에서 모든 할례레이션 변형보다 뛰어난 성능을 보이며, 시간적 및 공간적 인코더, 다중-FFN 모듈의 필요성을 입증한다.
• 시간적 인코더를 제거한 모델의 성능이 가장 열 劣하여 뇌 신호에서 시간적 의존성 모델링의 중요성을 확인한다.
• 패턴 이해가 필요한 과제(예: 간질 감지, 정서 인식)에서는 마스크 예측 사전 훈련이 예측 사전 훈련보다 더 효과적인 것으로 나타났다.
• 미래 예측이 필요한 과제(예: 간질 예측)에서는 예측 사전 훈련이 더 좋은 결과를 보여, 사전 훈련 목표의 과제 특화 이점을 입증한다.
• 레이블 데이터의 1%만으로도 Brant-2의 F1 점수 감소가 10% 미만이었고, 지도 학습 기반 SOTA(Lopes 등, 2023)는 50.6% 감소를 보여, 뛰어난 레이블 효율성을 입증한다.
• 사전 훈련 및 미세조정 단계에서의 확장성과 강력한 성능 유지 능력을 보이며, 최소한의 미세조정으로도 다양한 과제에서 뛰어난 성능을 유지한다.