[论文解读] Learnable latent embeddings for joint behavioral and neural analysis

Steffen Schneider, Jin Hwa Lee+1 more|arXiv (Cornell University)|Apr 1, 2022

Neural dynamics and brain function被引用 12

一句话总结

该论文提出 CEBRA，一种自监督学习方法，通过联合建模神经活动与行为数据，生成一致、可解释且高性能的潜在嵌入。通过结合对比学习与非线性独立成分分析，并对行为或时间进行条件化，CEBRA 在钙信号和电生理数据集上，跨物种与任务均实现了优于现有线性与非线性方法的解码准确率与一致性。

ABSTRACT

Mapping behavioral actions to neural activity is a fundamental goal of neuroscience. As our ability to record large neural and behavioral data increases, there is growing interest in modeling neural dynamics during adaptive behaviors to probe neural representations. In particular, neural latent embeddings can reveal underlying correlates of behavior, yet, we lack non-linear techniques that can explicitly and flexibly leverage joint behavior and neural data. Here, we fill this gap with a novel method, CEBRA, that jointly uses behavioral and neural data in a hypothesis- or discovery-driven manner to produce consistent, high-performance latent spaces. We validate its accuracy and demonstrate our tool's utility for both calcium and electrophysiology datasets, across sensory and motor tasks, and in simple or complex behaviors across species. It allows for single and multi-session datasets to be leveraged for hypothesis testing or can be used label-free. Lastly, we show that CEBRA can be used for the mapping of space, uncovering complex kinematic features, and rapid, high-accuracy decoding of natural movies from visual cortex.

研究动机与目标

• 解决联合神经与行为表征学习中缺乏非线性、一致且可解释方法的问题。
• 开发一种保留时间结构的降维技术，实现神经嵌入在不同动物与会话间的一致性。
• 通过在行为或时间上条件化嵌入，实现无需生成模型假设的假设驱动与发现驱动分析。
• 提升从高维记录中解码复杂行为与神经动力学的能力，包括自然情境下的应用。
• 支持无需标签的分析，并以最少假设整合多会话、多被试数据。

提出的方法

• CEBRA 使用对比学习目标训练神经网络编码器，将联合神经与行为数据映射到低维潜在空间。
• 提出一种新颖的数据采样策略，基于时间邻近性与行为相似性构建正样本对与负样本对。
• 通过将嵌入空间条件化于辅助变量（如行为或时间），支持监督与自监督学习模式。
• 结合非线性独立成分分析与对比学习，确保学习表征的可识别性与一致性。
• 该框架支持多被试联合学习，并能处理会话间与记录模态间的分布偏移。
• CEBRA 不需要数据增强或特定生成模型假设，从而提升其泛化能力与灵活性。

实验结果

研究问题

• RQ1 非线性表示学习方法能否联合建模神经与行为数据，实现在不同动物与会话间一致且可解释的潜在嵌入？
• RQ2 与 PCA、t-SNE、UMAP 和 pi-VAE 等线性与非线性基线方法相比，CEBRA 在行为解码方面的表现如何？
• RQ3 在已知行为变量的合成数据中，CEBRA 能在多大程度上恢复真实潜在结构？
• RQ4 CEBRA 是否能实现从视觉皮层神经活动对自然视觉刺激的准确解码？
• RQ5 在无标签或自监督模式下，CEBRA 在跨会话与跨被试场景下的泛化能力如何？

主要发现

• 在合成数据中，CEBRA 的中位重建决定系数 R² 达到 0.9999，显著优于 pi-VAE（R²=0.3522）、t-SNE 与 UMAP（ANOVA 事后检验 p<0.001）。
• 在大鼠海马体电生理数据中，CEBRA-Behavior 在潜在空间中成功分离了向左与向右移动的轨迹，展示了行为判别能力。
• 在 Allen Neuropixels 数据集中，CEBRA-joint 在场景分类任务中达到最高解码准确率，并实现最低平均帧误差，与基线方法相比 p 值均 <0.001（事后检验）。
• CEBRA 实现了从视觉皮层对自然电影的高精度解码，证明其在复杂真实神经解码任务中的实用性。
• CEBRA-joint 在所有神经元数量（50 至 1000）下均表现一致，且在事后检验中保持高度显著性，大多数比较的 p 值 ≤0.001。
• CEBRA 展现出对分布偏移的鲁棒性，并在无需标签数据的情况下，实现了多会话与多动物间一致且可解释的嵌入。