Skip to main content
QUICK REVIEW

[논문 리뷰] BrainBERT: Self-supervised representation learning for intracranial recordings

Christopher Wang, Vighnesh Subramaniam|arXiv (Cornell University)|2023. 02. 28.
Blind Source Separation TechniquesComputer Science인용 수 12
한 줄 요약

BrainBERT는 주석되지 않은 두개내 기록에서 사전 학습된 Transformer 기반 모델로, 새로운 피험자 및 전극 위치에 걸쳐 선형 디코딩 정확도와 데이터 효율성을 향상시키는 맥락화된 임베딩을 생성합니다.

ABSTRACT

We create a reusable Transformer, BrainBERT, for intracranial recordings bringing modern representation learning approaches to neuroscience. Much like in NLP and speech recognition, this Transformer enables classifying complex concepts, i.e., decoding neural data, with higher accuracy and with much less data by being pretrained in an unsupervised manner on a large corpus of unannotated neural recordings. Our approach generalizes to new subjects with electrodes in new positions and to unrelated tasks showing that the representations robustly disentangle the neural signal. Just like in NLP where one can study language by investigating what a language model learns, this approach opens the door to investigating the brain by what a model of the brain learns. As a first step along this path, we demonstrate a new analysis of the intrinsic dimensionality of the computations in different areas of the brain. To construct these representations, we combine a technique for producing super-resolution spectrograms of neural data with an approach designed for generating contextual representations of audio by masking. In the future, far more concepts will be decodable from neural recordings by using representation learning, potentially unlocking the brain like language models unlocked language.

연구 동기 및 목표

  • 두개내 전장 포텐셜에 대한 재사용 가능하고 피험자- 및 전극-무관한 표현을 제공한다.
  • 자기감독 BrainBERT 임베딩이 원시 신호 및 기존 스펙트로그램 특징보다 선형 디코더를 향상시킨다는 것을 시연한다.
  • 새로운 피험자와 새로운 전극 위치에서 일반화 가능성을 보여주고 제한된 데이터로도 성능을 확인한다.
  • BrainBERT 임베딩을 통해 뇌 계산을 분석할 수 있도록 하며, 뇌 영역 간 고유 차원성(intrinsic dimensionality)을 포함한다.

제안 방법

  • 두개내 데이터의 시-주파수 표현을 구성합니다(STFT 또는 superlet transform).
  • 변환기 인코더로 표현을 인코딩하고 자기감독 학습을 통해 마스킹된 스펙트로그램 재구성으로 학습합니다.
  • 버스트를 포착하기 위해 0이 아닌 스펙트로그램 요소를 강조하는 콘텐츠 인식 재구성 손실을 적용합니다.
  • 해당 다운스트림 선형 디코더를 학습할 때 BrainBERT 가중치를 미세조정(fine-tune)하거나 고정(freeze)합니다.
  • 보류된 세션 및 전극에서 평가하고, 새로운 피험자 및 새로운 전극 위치에서의 일반화도 포함합니다.

실험 결과

연구 질문

  • RQ1BrainBERT가 주석되지 않은 두개내 기록에서 선형 디코딩 성능을 다양한 과제에서 기준선보다 향상시키는가?
  • RQ2BrainBERT 임베딩이 학습 중 보지 못한 새로운 피험자 및 전극 위치로 일반화될 수 있는가?
  • RQ3BrainBERT 임베딩이 전통적 접근법보다 더 적은 데이터로도 데이터 효율적인 디코딩을 가능하게 하는가?
  • RQ4BrainBERT 임베딩으로 얻은 고유 차원성(ID)과 같은 뇌 영역 간 특성으로부터 어떤 신경과학적 통찰을 얻을 수 있는가?

주요 결과

  • BrainBERT는 선형 디코더와 함께 사용할 때 여러 과제에서 기준선보다 높은 디코딩 성능(AUC)을 달성합니다.
  • BrainBERT는 전혀 본 적 없는 피험자와 새로운 전극 위치에 일반화되어도 성능 향상을 유지합니다.
  • BrainBERT 임베딩은 데이터가 적어도 비슷하거나 더 나은 성능을 가능하게 하여 큰 라벨링 데이터 세트의 필요성을 줄입니다.
  • BrainBERT 임베딩을 이용한 고유 차원성(ID) 분석은 공간적으로 가변적이고 과제에 구애받지 않는 차원성을 시사하며, 전두엽 및 측두엽 영역에서 높은 ID를 보입니다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.