[论文解读] A Unified, Scalable Framework for Neural Population Decoding

Mehdi Azabou, Vinam Arora+8 more|arXiv (Cornell University)|Oct 24, 2023

Neural dynamics and brain function被引用 21

一句话总结

该论文提出 POYO，一种基于 spike-tokenization 和 PerceiverIO 的框架，能够在多会话神经记录上训练大规模的预训练模型，并实现对未见会话的少样本自适应，且无需固定的神经元对应关系。

ABSTRACT

Our ability to use deep learning approaches to decipher neural activity would likely benefit from greater scale, in terms of both model size and datasets. However, the integration of many neural recordings into one unified model is challenging, as each recording contains the activity of different neurons from different individual animals. In this paper, we introduce a training framework and architecture designed to model the population dynamics of neural activity across diverse, large-scale neural recordings. Our method first tokenizes individual spikes within the dataset to build an efficient representation of neural events that captures the fine temporal structure of neural activity. We then employ cross-attention and a PerceiverIO backbone to further construct a latent tokenization of neural population activities. Utilizing this architecture and training framework, we construct a large-scale multi-session model trained on large datasets from seven nonhuman primates, spanning over 158 different sessions of recording from over 27,373 neural units and over 100 hours of recordings. In a number of different tasks, we demonstrate that our pretrained model can be rapidly adapted to new, unseen sessions with unspecified neuron correspondence, enabling few-shot performance with minimal labels. This work presents a powerful new approach for building deep learning tools to analyze neural data and stakes out a clear path to training at scale.

研究动机与目标

• 激励在跨个体的大型数据集和多样化会话中扩展神经解码能力。
• 通过开发基于 token 的神经群体表示来解决缺乏共享神经元对应的问题。
• 引入一个可扩展的训练框架，支持多会话、跨个体的电生理数据。
• 展示能够在新会话中以极少的标注数据进行迁移的预训练模型。

提出的方法

• 通过将每个尖峰表示为一个带有可学习单位嵌入和时间戳的 token，来对神经群体活动进行标记。
• 使用 PerceiverIO 交叉注意力编码器将输入 token 压缩成潜在序列，以实现可扩展处理。
• 应用时序感知的旋转位置编码以及稀疏、事件驱动的表示来保留时间结构。
• 在来自多会话/动物的数据上对大型模型进行预训练，并使其能够对新任务和记录上下文进行微调。
• 向社区提供预训练模型（POYO-1 和 POYO-mp）及跨会话神经解码的代码。

实验结果

研究问题

• RQ1 单一模型是否能在没有已知神经元对应关系的情况下，对异质会话中的神经群体活动进行解码？
• RQ2 基于尖峰的 token 化是否能够实现跨数据集的可扩展、跨会话学习，而不需要固定的输入单元？
• RQ3 大型预训练 POYO 模型是否能够在最少标签的情况下对未见会话和任务进行快速适应（少样本）？
• RQ4 在跨多只动物的多会话神经数据上训练时，神经解码会出现哪些尺度定律？

主要发现

• 这些预训练的 POYO 模型可以在极少标注样本下，快速适应未见会话。
• 该方法可扩展到来自 158 个会话、7 只非人灵长类动物、27,373 个单位，以及超过 100 小时的记录数据。
• 基于尖峰的 token 化在保留细粒度时间结构的同时，实现了稀疏、可扩展的输入表示。
• 该框架支持对多会话神经数据进行端到端的 Transformer 基模型训练。
• 已开发出两个大型预训练模型 POYO-1 和 POYO-mp，以支持跨记录转移和任务泛化。