[論文レビュー] Neural Latents Benchmark '21: Evaluating latent variable models of neural population activity

Felix Pei, Joel Ye+14 more|arXiv (Cornell University)|Sep 9, 2021

Neural dynamics and brain function参考文献 88被引用数 44

ひとこと要約

ニューラル潜在変数モデル（LVM）を、さまざまな脳領域、タスク、データセットサイズにわたる神経母集団データ上で標準化して評価するための EvalAI にホストされたベンチマークを用い、主指標としてコースムージングを採用する。

ABSTRACT

Advances in neural recording present increasing opportunities to study neural activity in unprecedented detail. Latent variable models (LVMs) are promising tools for analyzing this rich activity across diverse neural systems and behaviors, as LVMs do not depend on known relationships between the activity and external experimental variables. However, progress with LVMs for neuronal population activity is currently impeded by a lack of standardization, resulting in methods being developed and compared in an ad hoc manner. To coordinate these modeling efforts, we introduce a benchmark suite for latent variable modeling of neural population activity. We curate four datasets of neural spiking activity from cognitive, sensory, and motor areas to promote models that apply to the wide variety of activity seen across these areas. We identify unsupervised evaluation as a common framework for evaluating models across datasets, and apply several baselines that demonstrate benchmark diversity. We release this benchmark through EvalAI. http://neurallatents.github.io

研究の動機と目的

• 神経集団活動のための潜在変数モデル（LVM）の標準化評価を推進する。
• 運動、感覚、認知領域にわたるキュレーション済みデータセットと、さまざまなデータセットサイズを提供する。
• 堅牢な主要指標（コースムージング）と補完指標を備えた教師なし評価フレームワークを定義する。
• Neurodata Without Borders 形式のデータと EvalAI ベースの評価を備えた再現性の高いパイプラインを提供する。
• モデルタイプ間の性能ベンチマークを確立するためのベースライン比較。

提案手法

• 4つの多様な神経発火データセット（MC_Maze, MC_RTT, Area2_Bump, DMFC_RSG）を、さまざまなタスク要求でキュレーションする。
• 教師なし評価フレームワーク（コースムージング）を採用して、保持データの神経活動を予測する。
• 二次指標として PSTH マッチ、前方予測、適用可能な場合の行動デコードを提供する。
• 五つのベースラインLVMアプローチ（平滑化発火、GPFA、SLDS、AutoLFADS、Neural Data Transformer）を比較して性能ベースラインを確立する。
• 過学習とハイパーパラメータ改ざんを防ぐため、EvalAI の秘密テストデータを用いた訓練/検証/テスト分割を活用する。

実験結果

リサーチクエスチョン

• RQ1 さまざまな脳領域と行動にまたがる神経母集団活動を、教師なし潜在変数モデルはどれほどうまく説明できるか？
• RQ2 保持データのニューロン/時間予測（コースムージング）と二次指標における、線形・非線形・深層LVMファミリの相対性能はどうなるか？
• RQ3 データセットサイズの増減と、ニューロン数・発火率が異なるデータセット間で、モデルの性能はどのようにスケールするか？
• RQ4 深層モデル（AutoLFADS、NDT）が従来のベースラインを上回る領域と、より単純なモデルで十分な領域はどこか？
• RQ5 評価指標（コースムージング vs. PSTH マッチング vs. 前方予測 vs. 行動デコード）は、データセットごとにどのように整合・乖離するか？

主な発見

モデル	MC_Maze	MC_Maze-L	MC_Maze-M	MC_Maze-S	MC_RTT	Area2_Bump	DMFC_RSG
平滑化	0.211	0.224	0.167	0.191	0.147	0.154	0.120
GPFA	0.187 ±0.001	0.239 ±0.001	0.172 ±0.001	0.217 ±0.002	0.155 ±0.000	0.168 ±0.000	0.118 ±0.000
SLDS	0.219 ±0.006	0.290 ±0.008	0.210 ±0.008	0.250 ±0.001	0.165 ±0.004	0.187 ±0.005	0.120 ±0.001
NDT	0.329 ±0.005	0.362 ±0.006	0.259 ±0.021	0.251 ±0.014	0.160 ±0.009	0.267 ±0.003	0.162 ±0.009
AutoLFADS	0.346 ±0.005	0.374 ±0.005	0.304 ±0.006	0.301 ±0.009	0.192 ±0.003	0.259 ±0.001	0.181 ±0.001

• コースムージングはデータセットをまたいで概ね達成可能で、深層モデルはしばしばベースラインを上回る。
• 深層ネットワーク（AutoLFADS、NDT）は、特に認知領域（DMFC_RSG）や大規模データセットで複数データセットにわたり高い性能を示す。
• 深層モデルの性能優位はデータセット依存で、ギャップが小さいデータセットもある。
• MC_Maze-L/M/S から MC_Maze および他のタスクへとデータセットが拡張され、LVM評価におけるデータセットサイズ効果を示す。
• GPFAとSLDSは指標ごとに性能が変動し、適切な評価基準の選択が重要であることを強調する。
• データセット全体を通じて、深層モデルはコースムージング性能で最も一貫した向上を示す傾向がある。