[论文解读] Deep Random Splines for Point Process Intensity Estimation of Neural Population Data

Gabriel Loaiza-Ganem, Sean M. Perkins+3 more|arXiv (Cornell University)|Mar 6, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用 4

一句话总结

本文提出了深度随机样条（DRS），一种使用神经网络参数化样条的深度生成模型，可为点过程数据生成灵活、非负且平滑的强度函数。通过采用新型循环编码器的变分自编码器实现，DRS在神经元放电数据上的降维和试次分类准确率方面优于GPFA、PfLDS和PP-GPFA，即使使用显著更低维的潜在表示也表现优异。

ABSTRACT

Gaussian processes are the leading class of distributions on random functions, but they suffer from well known issues including difficulty scaling and inflexibility with respect to certain shape constraints (such as nonnegativity). Here we propose Deep Random Splines, a flexible class of random functions obtained by transforming Gaussian noise through a deep neural network whose output are the parameters of a spline. Unlike Gaussian processes, Deep Random Splines allow us to readily enforce shape constraints while inheriting the richness and tractability of deep generative models. We also present an observational model for point process data which uses Deep Random Splines to model the intensity function of each point process and apply it to neural population data to obtain a low-dimensional representation of spiking activity. Inference is performed via a variational autoencoder that uses a novel recurrent encoder architecture that can handle multiple point processes as input. We use a newly collected dataset where a primate completes a pedaling task, and observe better dimensionality reduction with our model than with competing alternatives.

研究动机与目标

• 为解决高斯过程在建模随机函数时的局限性，特别是可扩展性差和难以施加非负性等形状约束的问题。
• 开发一种灵活、可扩展且具有形状约束的高斯过程替代方法，用于建模神经群体数据中的点过程强度。
• 通过利用深度随机样条的变分自编码器，实现神经元放电活动的低维表示。
• 设计一种新型循环编码器架构，能够处理真正的连续点过程输入，无需分箱。
• 在模拟和真实神经数据集上，展示在降维和试次分类方面优于现有方法的性能。

提出的方法

• 深度随机样条（DRS）通过将标准高斯噪声输入深度神经网络以输出样条参数生成，从而实现复杂且灵活的随机函数。
• 通过将参数化表示为凸集的交集来强制样条的非负性，并在训练过程中使用交替投影法将结果投影到可行集合上。
• 该方法对交替投影步骤进行反向传播，支持端到端反向传播与DRS参数的优化。
• 采用变分自编码器进行推理，其中新型循环编码器可处理多个无需分箱的连续点过程。
• 观测模型假设为泊松过程，其强度函数由DRS建模，从而实现非负、平滑且受约束的强度估计。
• 通过识别模型（编码器）将脉冲序列映射到潜在变量，解码器通过DRS重构强度函数，实现变分推理。

实验结果

研究问题

• RQ1 能否设计一种深度生成模型，使其生成的随机函数既灵活又可施加形状约束（如非负性）？
• RQ2 深度随机样条能否在更低维表示下，优于高斯过程及现有点过程模型，用于建模神经群体放电活动？
• RQ3 具有新型循环编码器架构的变分自编码器能否有效处理真正连续的点过程数据，而无需分箱？
• RQ4 在强度函数中强制施加非负性和平滑性，是否能产生更具意义且更低维的神经试次潜在表示？
• RQ5 与PP-GPFA和PfLDS等最先进方法相比，基于DRS的模型在ELBO、分类准确率和解释方差方面的表现如何？

主要发现

• 在模拟数据上，DRS-VAE的ELBO高于所有对比模型，包括隐藏维度多20倍的PfLDS，表明其模型拟合更好且泛化能力更强。
• 在真实抓握任务数据集中，DRS-VAE在后验均值上使用15近邻分类器实现了23.7%的试次分类准确率，显著优于随机猜测（2.5%）和对比模型。
• 在骑行数据集上，DRS-VAE实现了72.5%的试次分类准确率，远超随机猜测（12.5%），尽管其潜在表示比PfLDS小28倍。
• DRS-VAE在测试后验均值的ANOVA中解释了总平方和的58.3%，优于PP-GPFA和PfLDS，表明其能更有效地捕捉有意义的试次结构。
• 尽管在骑行数据集上的ELBO低于PfLDS，但DRS-VAE的潜在表示在分类和解释方差方面表现显著更优，表明其表征质量更高。
• 该方法对超参数变化具有鲁棒性：增加时间分箱数并未提升PfLDS性能，而DRS保持稳定且下游性能更优。