[논문 리뷰] A Unified, Scalable Framework for Neural Population Decoding

Mehdi Azabou, Vinam Arora외 8명|arXiv (Cornell University)|2023. 10. 24.

Neural dynamics and brain function인용 수 21

한 줄 요약

본 논문은 POYO를 소개한다. 이는 spike-tokenization 및 PerceiverIO 기반 프레임워크로, 다중 세션 신경 기록에 걸쳐 대규모 사전학습 모델을 훈련시키고, 고정된 뉴런 대응 없이 보지 않은 세션에 대한 few-shot 적응을 가능하게 한다.

ABSTRACT

Our ability to use deep learning approaches to decipher neural activity would likely benefit from greater scale, in terms of both model size and datasets. However, the integration of many neural recordings into one unified model is challenging, as each recording contains the activity of different neurons from different individual animals. In this paper, we introduce a training framework and architecture designed to model the population dynamics of neural activity across diverse, large-scale neural recordings. Our method first tokenizes individual spikes within the dataset to build an efficient representation of neural events that captures the fine temporal structure of neural activity. We then employ cross-attention and a PerceiverIO backbone to further construct a latent tokenization of neural population activities. Utilizing this architecture and training framework, we construct a large-scale multi-session model trained on large datasets from seven nonhuman primates, spanning over 158 different sessions of recording from over 27,373 neural units and over 100 hours of recordings. In a number of different tasks, we demonstrate that our pretrained model can be rapidly adapted to new, unseen sessions with unspecified neuron correspondence, enabling few-shot performance with minimal labels. This work presents a powerful new approach for building deep learning tools to analyze neural data and stakes out a clear path to training at scale.

연구 동기 및 목표

• 개인들 전반에 걸친 크고 다양한 세션과 데이터셋으로 신경 디코딩의 규모 확장을 동기화한다.
• 공유된 뉴런 대응의 부재를 해결하기 위해 토큰 기반의 신경 인구 표현을 개발한다.
• 다중 세션, 교차 개체 전극생리 데이터를 지원하는 확장 가능한 학습 프레임워크를 도입한다.
• 적은 양의 라벨 데이터로 새로운 세션에 전이 가능한 사전 학습 모델을 시연한다.

제안 방법

• 학습 가능한 유닛 임베딩과 타임스탬프를 가진 토큰으로 각 스파이크를 표현하여 신경 인구 활성화를 토크나이즈한다.
• 확장 가능한 처리를 가능하게 하기 위해 PerceiverIO 교차 어텐션 인코더를 사용하여 입력 토큰을 잠재 시퀀스로 압축한다.
• 시간 인식 로터리 포지션 인코딩과 희소한 이벤트 기반 표현을 적용하여 시간 구조를 보존한다.
• 다수의 세션/동물로부터의 데이터에서 대규모 모델을 사전 학습하고 새로운 작업 및 기록 맥락에 대한 미세 조정을 가능하게 한다.
• 교차 세션 신경 디코딩을 위해 커뮤니티에 사전 학습 모델(POYO-1 및 POYO-mp)과 코드를 제공한다.

실험 결과

연구 질문

• RQ1 알려진 뉴런 대응 없이 이질적인 세션들에 걸쳐 하나의 모델이 신경 인구 활동을 해독할 수 있는가?
• RQ2 스파이크 기반 토크나이제이션이 데이터셋 간 고정된 입력 단위 없이 확장 가능한 세션 간 학습을 가능하게 하는가?
• RQ3 크게 사전학습된 POYO 모델이 최소 라벨로 보지 않은 세션과 작업에 빠르게(소수 샷으로) 적응할 수 있는가?
• RQ4 여러 동물의 다중 세션 신경 데이터로 학습할 때 신경 디코딩에 어떤 규모에 대한 법칙이 나타나는가?

주요 결과

• 사전 학습된 POYO 모델은 매우 적은 라벨 예제로 보지 않은 세션에 빠르게 적응할 수 있다.
• 이 방법은 158개의 세션, 7마리의 비인간 영장류, 27,373 유닛, 그리고 100시간이 넘는 기록 데이터까지 확장된다.
• 스파이크 기반 토크나이제이션은 미세한 시간 구조를 보존하면서도 희소하고 확장 가능한 입력 표현을 가능하게 한다.
• 프레임워크는 다중 세션 신경 데이터에 대해 트랜스포머 기반 모델의 엔드 투 엔드 학습을 가능하게 한다.
• 교차 기록 전이 및 작업 일반화를 지원하기 위해 두 개의 대규모 사전 학습 모델, POYO-1 및 POYO-mp,이 개발되었다.