[論文レビュー] A Unified, Scalable Framework for Neural Population Decoding

Mehdi Azabou, Vinam Arora+8 more|arXiv (Cornell University)|Oct 24, 2023

Neural dynamics and brain function被引用数 21

ひとこと要約

本論文はPOYOを提案します。POYOはスパイクトークン化とPerceiverIOベースのフレームワークで、マルチセッション神経記録に跨る大規模事前学習モデルを訓練し、固定ニューロン対応なしで unseen sessions に対する few-shot adaptation を可能にします。

ABSTRACT

Our ability to use deep learning approaches to decipher neural activity would likely benefit from greater scale, in terms of both model size and datasets. However, the integration of many neural recordings into one unified model is challenging, as each recording contains the activity of different neurons from different individual animals. In this paper, we introduce a training framework and architecture designed to model the population dynamics of neural activity across diverse, large-scale neural recordings. Our method first tokenizes individual spikes within the dataset to build an efficient representation of neural events that captures the fine temporal structure of neural activity. We then employ cross-attention and a PerceiverIO backbone to further construct a latent tokenization of neural population activities. Utilizing this architecture and training framework, we construct a large-scale multi-session model trained on large datasets from seven nonhuman primates, spanning over 158 different sessions of recording from over 27,373 neural units and over 100 hours of recordings. In a number of different tasks, we demonstrate that our pretrained model can be rapidly adapted to new, unseen sessions with unspecified neuron correspondence, enabling few-shot performance with minimal labels. This work presents a powerful new approach for building deep learning tools to analyze neural data and stakes out a clear path to training at scale.

研究の動機と目的

• 個体間での多様なセッションと大規模データセットを用いた神経デコードのスケーリングを動機づける。
• ニューロン対応の共通性欠如に対処するため、トークンベースの神経集団表現を開発する。
• マルチセッション・跨個体の電気生理データをサポートするスケーラブルな訓練フレームワークを導入する。
• 最小限のラベルデータで新しいセッションへ転移可能な事前学習モデルを示す。

提案手法

• 各スパイクを学習可能なユニット埋め込みとタイムスタンプを用いたトークンとして表現し、神経集団活動をトークン化する。
• PerceiverIOのクロスアテンションエンコーダーを用いて入力トークンを潜在系列に圧縮し、スケーラブルな処理を可能にする。
• 時間認識型ロータリポジションエンコーディングと疎なイベントベースの表現を適用し、時間的構造を保持する。
• 複数セッション/動物のデータ上で大規模モデルを事前訓練し、新しいタスクや記録文脈へのファインチューニングを可能にする。
• コミュニティへ事前学習済みモデル（POYO-1およびPOYO-mp）とコードを提供し、跨セッションの神経デコードを支援する。

実験結果

リサーチクエスチョン

• RQ1 ノーネットワークニューロン対応が未知の異種セッションを跨いで、単一のモデルで神経集団活動をデコードできるか？
• RQ2 スパイクベースのトークン化は、データセット間で固定入力単位を持たずに、跨セッション学習をスケーラブルに可能にするか？
• RQ3 大規模な事前学習POYOモデルは、少数のラベルで未知のセッションやタスクに迅速に適応できるか？
• RQ4 複数の動物に跨るマルチセッション神経データの訓練時に、神経デコードのスケーリング法則はどのように現れるか？

主な発見

• 事前学習済みのPOYOモデルは、非常に少数のラベル例で未知のセッションへ迅速に適応できる。
• この手法は158セッション、7匹の非ヒト霊長類、27,373個体、100時間超の記録データに対してスケールする。
• スパイクベースのトークン化は、希な入力表現を可能にしつつ、細かな時間構造を保持する。
• フレームワークは、マルチセッション神経データ上でトランスフォーマーベースのモデルのエンドツーエンド訓練を可能にする。
• 跨記録転送とタスク一般化を支援する2つの大規模事前学習モデル、POYO-1とPOYO-mpを開発した。