[논문 리뷰] Neural Latents Benchmark '21: Evaluating latent variable models of neural population activity

Felix Pei, Joel Ye외 14명|arXiv (Cornell University)|2021. 09. 09.

Neural dynamics and brain function참고 문헌 88인용 수 44

한 줄 요약

신경 잠재 벤치마크(NLB) ’21를 도입하여 다양한 뇌 영역, 작업 및 데이터셋 크기에 걸친 신경 인구 데이터에 대한 비지도 잠재 변수 모델(LVM) 평가를 표준화하고, 주요 지표로 co-smoothing을 사용하며 EvalAI에서 호스팅되는 벤치마크를 활용한다.

ABSTRACT

Advances in neural recording present increasing opportunities to study neural activity in unprecedented detail. Latent variable models (LVMs) are promising tools for analyzing this rich activity across diverse neural systems and behaviors, as LVMs do not depend on known relationships between the activity and external experimental variables. However, progress with LVMs for neuronal population activity is currently impeded by a lack of standardization, resulting in methods being developed and compared in an ad hoc manner. To coordinate these modeling efforts, we introduce a benchmark suite for latent variable modeling of neural population activity. We curate four datasets of neural spiking activity from cognitive, sensory, and motor areas to promote models that apply to the wide variety of activity seen across these areas. We identify unsupervised evaluation as a common framework for evaluating models across datasets, and apply several baselines that demonstrate benchmark diversity. We release this benchmark through EvalAI. http://neurallatents.github.io

연구 동기 및 목표

• 신경 인구 활동을 위한 잠재 변수 모델(LVM)의 표준화된 평가를 촉진한다.
• 운동, 감각, 인지 영역에 걸친 큐레이션된 데이터셋과 다양한 크기의 데이터셋을 제공한다.
• 강력한 기본 지표(co-smoothing)와 보조 지표를 갖춘 비지도 평가 프레임워크를 정의한다.
• Neurodata Without Borders 형식의 데이터와 EvalAI 기반 평가를 통한 재현 가능한 파이프라인을 제공한다.
• 모델 유형 간 성능 벤치마크를 설정하기 위한 기초선 비교를 수행한다.

제안 방법

• 다양한 작업 요구를 가진 네 가지 다양한 신경 스파이크 데이터셋(MC_Maze, MC_RTT, Area2_Bump, DMFC_RSG)을 큐레이션한다.
• 보류된 신경 활동을 예측하기 위한 비지도 평가 프레임워크(co-smoothing)를 채택한다.
• 가능한 경우 PSTH 매치, 순방향 예측, 행동 디코딩 등 보조 지표를 제공한다.
• 성능 벤치마크를 확립하기 위해 다섯 가지 기초 LVM 접근법(Smoothed spikes, GPFA, SLDS, AutoLFADS, Neural Data Transformer)을 비교한다.
• 과적합 및 하이퍼파라미터 해킹을 방지하기 위해 EvalAI의 비공개 테스트 데이터를 포함한 train/val/test 분할을 활용한다.

실험 결과

연구 질문

• RQ1 다양한 뇌 영역과 행동에서 비지도 잠재 변수 모델이 신경 인구 활동을 얼마나 잘 설명할 수 있는가?
• RQ2 보류된 뉴런/시간 예측(co-smoothing) 및 보조 지표에서 서로 다른 LVM 계열(선형, 비선형, 심층)의 상대적 성능은 어떠한가?
• RQ3 데이터셋 크기 및 서로 다른 뉴런 수와 발화률을 가진 데이터셋 간에 모델 성능이 어떻게 스케일링되는가?
• RQ4 벤치마크가 심층 모델(AutoLFADS, NDT)이 기존 기초선보다 우수한 영역과 더 단순한 모델이 충분한 영역을 식별할 수 있는가?
• RQ5 평가 지표(co-smoothing 대 PSTH 매칭 대 순방향 예측 대 행동 디코딩)가 데이터셋 간에 어떻게 일치하거나 차이가 나타나는가?

주요 결과

모델	MC_Maze	MC_Maze-L	MC_Maze-M	MC_Maze-S	MC_RTT	Area2_Bump	DMFC_RSG
Smoothing	0.211	0.224	0.167	0.191	0.147	0.154	0.120
GPFA	0.187 ±0.001	0.239 ±0.001	0.172 ±0.001	0.217 ±0.002	0.155 ±0.000	0.168 ±0.000	0.118 ±0.000
SLDS	0.219 ±0.006	0.290 ±0.008	0.210 ±0.008	0.250 ±0.001	0.165 ±0.004	0.187 ±0.005	0.120 ±0.001
NDT	0.329 ±0.005	0.362 ±0.006	0.259 ±0.021	0.251 ±0.014	0.160 ±0.009	0.267 ±0.003	0.162 ±0.009
AutoLFADS	0.346 ±0.005	0.374 ±0.005	0.304 ±0.006	0.301 ±0.009	0.192 ±0.003	0.259 ±0.001	0.181 ±0.001

• 코-스무딩은 일반적으로 데이터셋 전반에 걸쳐 달성 가능하며, 심층 모델이 종종 기초선보다 우수한 성능을 보인다.
• 깊은 네트워크(AutoLFADS, NDT)는 여러 데이터셋에서 강한 성능을 보이며, 특히 더 인지 영역(DMFC_RSG)과 더 큰 데이터셋에서 두드러진다.
• 깊은 모델의 성능 우위는 데이터셋에 따라 달라지며, 일부 데이터셋에서는 차이가 작게 나타난다.
• 벤치마크 데이터셋은 MC_Maze-L/M/S에서 MC_Maze 및 다른 작업으로 확장되며, LVM 평가에서 데이터셋 크기의 영향을 보여준다.
• GPFA와 SLDS는 지표에 따라 가변적인 성능을 보이며, 적절한 평가 기준 선택의 중요성을 강조한다.
• 데이터셋에 걸쳐 딥 모델이 co-smoothing 성능에서 가장 일관된 이득을 제공하는 경향이 있다.