[论文解读] Deep inference of latent dynamics with spatio-temporal super-resolution using selective backpropagation through time

Zhu Feng, Andrew R. Sedler+6 more|arXiv (Cornell University)|Oct 29, 2021

Neural dynamics and brain function参考文献 56被引用 5

一句话总结

本文提出选择性时间反向传播（SBTT），一种新型训练方法，使深度生成模型能够从稀疏或不规则采样的时间序列数据中推断潜在神经动力学。SBTT通过利用低维群体动力学，在神经记录中实现精确的时空超分辨率——在电生理学和双光子钙成像中得到验证——在高达80%数据稀疏度下仍能实现高保真度推断，并在性能上超越当前最先进方法，提升行为解码能力。

ABSTRACT

Modern neural interfaces allow access to the activity of up to a million neurons within brain circuits. However, bandwidth limits often create a trade-off between greater spatial sampling (more channels or pixels) and the temporal frequency of sampling. Here we demonstrate that it is possible to obtain spatio-temporal super-resolution in neuronal time series by exploiting relationships among neurons, embedded in latent low-dimensional population dynamics. Our novel neural network training strategy, selective backpropagation through time (SBTT), enables learning of deep generative models of latent dynamics from data in which the set of observed variables changes at each time step. The resulting models are able to infer activity for missing samples by combining observations with learned latent dynamics. We test SBTT applied to sequential autoencoders and demonstrate more efficient and higher-fidelity characterization of neural population dynamics in electrophysiological and calcium imaging data. In electrophysiology, SBTT enables accurate inference of neuronal population dynamics with lower interface bandwidths, providing an avenue to significant power savings for implanted neuroelectronic interfaces. In applications to two-photon calcium imaging, SBTT accurately uncovers high-frequency temporal structure underlying neural population activity, substantially outperforming the current state-of-the-art. Finally, we demonstrate that performance could be further improved by using limited, high-bandwidth sampling to pretrain dynamics models, and then using SBTT to adapt these models for sparsely-sampled data.

研究动机与目标

• 为解决神经接口中带宽与空间采样之间的权衡问题，其中高神经元数量与有限的时间分辨率相冲突。
• 开发一种方法，实现从不规则或稀疏采样数据中对神经群体动力学进行精确推断，其中并非所有神经元在每个时间步均被观测到。
• 通过利用低维潜在动力学，提升电生理学和钙成像中神经数据表征的保真度与效率。
• 通过动态记录带宽的自适应建模，实现功耗高效、高容量的神经接口。

提出的方法

• SBTT是一种训练策略，可在递归神经网络中实现时间反向传播，即使在不同时间步观测变量集合发生变化时亦可适用。
• 该方法使用序列自编码器建模潜在动力学，编码器将观测到的稀疏神经活动映射至低维潜在状态。
• SBTT仅在每个时间步对观测到的神经元选择性地反向传播梯度，从而在观测模式变化的情况下仍可实现端到端训练。
• 该方法应用于基于LFADS的模型，实现潜在动力学与缺失时间样本的联合推断。
• 该方法支持迁移学习，通过在稀疏数据上微调预训练的全数据模型，提升在高稀疏度下的性能。
• 该方法利用双光子成像和间歇性电生理学中的已知采样时间，重建未在帧率下可见的高频动力学。

实验结果

研究问题

• RQ1 深度生成模型能否从稀疏采样的神经时间序列数据中推断出高保真度的潜在神经动力学？
• RQ2 与在稀疏数据上标准训练相比，选择性时间反向传播（SBTT）如何提升潜在动力学推断的准确性？
• RQ3 SBTT在钙成像数据中能多大程度上恢复低于帧率的高频时间结构？
• RQ4 能否通过SBTT在稀疏数据上有效微调预训练的动力学模型，以实现更优的解码性能？
• RQ5 SBTT对植入式神经接口中的功耗效率和带宽使用有何影响？

主要发现

• SBTT可在高达80%训练数据被掩码的情况下实现对神经群体动力学的精确推断，表现出对极端稀疏性的鲁棒性。
• 在双光子钙成像数据中，SBTT揭示了未在帧率下捕捉到的高频时间结构，显著优于当前最先进方法。
• 在真实电生理学数据中，SBTT实现了对手部速度的精确解码，且接口带宽更低，表明对植入设备具有显著的功耗节省潜力。
• 通过SBTT在稀疏数据上微调全数据模型的早期层，可提升高稀疏度下的解码性能，优于仅在稀疏数据上训练的模型。
• 该方法实现了更高保真度的潜在动力学重建与更优的行为解码，证实其在合成与真实神经数据中的实用性。